Der Leitfaden führt von der Marktlage über Betriebsmodelle, Architektur, Sicherheit und Recht bis zu Wirtschaftlichkeit, Entscheidungshilfen und drei Praxisbeispielen aus dem Mittelstand.
Lokale KI ist keine Produktentscheidung, sondern eine Betriebsentscheidung. Ein installiertes Sprachmodell ist noch keine Unternehmens-KI. Erst Wissensbasis, Berechtigungen, Sicherheit, Qualität und ein dauerhaft verantworteter Betrieb machen daraus einen belastbaren Nutzen.
Immer mehr mittelständische Unternehmen prüfen, ob sie generative KI auf eigener Infrastruktur betreiben sollten. Die Beweggründe sind nachvollziehbar: Sensible Unternehmensdaten sollen das eigene Umfeld nicht verlassen, Abhängigkeiten von einzelnen Cloud-Anbietern sollen sinken, KI soll auch ohne Internetverbindung verfügbar sein, Nutzungskosten sollen kalkulierbarer werden und unternehmensspezifisches Wissen soll kontrolliert eingebunden werden.
Eine lokale Installation löst diese Anforderungen jedoch nicht automatisch. Wer ein Sprachmodell auf einem Server installiert, hat noch keine produktiv nutzbare Unternehmens-KI. Erforderlich sind zusätzlich eine belastbare Wissensbasis, Rollen und Berechtigungen, Schnittstellen, Protokollierung, Qualitätstests, Sicherheitsmaßnahmen, Updates und ein verantwortlicher Betrieb.
Der Eigenbetrieb verschiebt Verantwortung vom Anbieter zum eigenen Unternehmen.
Entscheidend ist nicht die Modellgröße, sondern die Leistung im konkreten Arbeitsprozess.
Es sollte über eine kontrollierte Wissensschicht wie RAG bereitgestellt werden.
Rechtsgrundlage, Zweckbindung, Datenminimierung und Betroffenenrechte bleiben relevant.
Modelle, Wissen, Abhängigkeiten und Sicherheit müssen dauerhaft betrieben werden.
Sensibles läuft lokal, leistungsintensive oder schwankende Aufgaben kontrolliert extern.
„Die Installation eines Modells ist vergleichsweise einfach. Der Aufbau eines zuverlässigen Unternehmenssystems ist die eigentliche Aufgabe.“
Künstliche Intelligenz ist im Mittelstand angekommen, aber noch nicht flächendeckend in die betrieblichen Abläufe integriert. Das Statistische Bundesamt und die KfW zeichnen dabei ein konsistentes Bild, auch wenn ihre Werte wegen unterschiedlicher Definitionen, Zeiträume und Erhebungsmethoden nicht direkt vergleichbar sind.
Von den Unternehmen, die KI geprüft, aber noch nicht eingesetzt hatten, nannten 2025 als Hinderungsgründe:
| Hinderungsgrund | Anteil |
|---|---|
| Fehlendes Wissen | 72 % |
| Unklarheit über die rechtlichen Folgen | 62 % |
| Datenschutz- und Privatsphärebedenken | 60 % |
| Inkompatibilität mit bestehenden Systemen | 45 % |
| Unzureichende Datenverfügbarkeit oder Datenqualität | 44 % |
| Zu hohe Kosten | 32 % |
Das Kernproblem liegt selten allein beim KI-Modell, sondern in der Verbindung aus Technologie, Unternehmensdaten, Verantwortlichkeiten und Betriebsfähigkeit. Die relevante Frage lautet deshalb nicht „Welches Sprachmodell installieren wir?“, sondern: „Für welchen Prozess benötigen wir welche KI-Leistung, welche Daten dürfen verarbeitet werden und wer übernimmt dauerhaft die Verantwortung?“
Der Begriff „lokale KI“ wird häufig unscharf verwendet. Für eine belastbare Entscheidung sollten mindestens fünf Betriebsmodelle unterschieden werden. Sie unterscheiden sich in Kontrolle, Aufwand, Skalierbarkeit und Eignung für sensible Daten.
Das Modell läuft auf einem Notebook oder einer Workstation. Geeignet für persönliche Recherche in freigegebenen Dokumenten, vertrauliche Textentwürfe sowie Entwicklung und Erprobung. Grenzen: schwer zentral administrierbar, keine einheitliche Wissensbasis, begrenzte Leistung, Gefahr unkontrollierter Einzellösungen.
Das Modell läuft auf Servern im eigenen Gebäude oder Rechenzentrum. Geeignet für sensible interne Daten, stabile Nutzergruppen, hohe und planbare Nutzung, Offline- oder Produktionsumgebungen sowie Unternehmen mit eigener IT-Betriebsorganisation.
Das System läuft in einer isolierten Cloud-Umgebung oder auf dedizierten Servern eines Rechenzentrums. Geeignet für Unternehmen ohne eigenen Serverraum, mehrere Standorte, kontrollierte Skalierung, externe Betriebsunterstützung sowie Anforderungen an EU-Hosting und definierte Datenstandorte.
Das Modell läuft direkt an einer Maschine, auf einem Fahrzeug, in einer Niederlassung oder auf einem mobilen Gerät. Geeignet für Spracherkennung im Außendienst, Bildauswertung an Anlagen, lokale Assistenz ohne stabile Verbindung und zeitkritische Auswertungen.
Lokale Modelle und externe KI-Dienste werden über eine gemeinsame Steuerung kombiniert. Interne Dokumente und personenbezogene Daten werden lokal verarbeitet, allgemeine Marktinformationen über externe Modelle. Ein Routing entscheidet je nach Aufgabe, Datenklasse und benötigter Modellleistung.
Für viele mittelständische Unternehmen ist die hybride Architektur die praktikabelste Zielarchitektur: Sie verbindet Datensouveränität bei sensiblen Prozessen mit Leistungsreserven für anspruchsvolle Aufgaben.
Vier Begriffe werden häufig verwechselt. Ihre Unterscheidung ist die Voraussetzung dafür, Aufwand, Nutzen und Verantwortung realistisch einzuschätzen.
Erzeugt Texte, analysiert Eingaben, klassifiziert Inhalte. Es besitzt aber nicht automatisch aktuelles Unternehmenswissen, Zugriffsrechte auf ERP oder DMS, Kenntnis der freigegebenen Dokumentversion, Nachvollziehbarkeit oder fachliche Verantwortung.
Stellt Oberfläche und Arbeitsprozess bereit, etwa als interner Wissensassistent, Serviceassistent, Angebotsvorbereitung, Baustellendokumentation, Wartungsassistenz oder Ausschreibungsanalyse.
Verbindet das Modell mit freigegebenen Datenquellen: Dokumentenmanagement, ERP, CRM, Ticketsystem, Projektakten, Betriebsanweisungen, Leistungsverzeichnisse, Wartungsprotokolle, Regelwerke, Produktkataloge.
Hält das System dauerhaft nutzbar: Updates, Berechtigungen, Protokollierung, Qualitätstests, Datensicherung, Monitoring, Störungsbearbeitung, Versionswechsel, Sicherheitsprüfungen, Support.
„Das Modell erzeugt Antworten. Erst Anwendung, Wissen und Betrieb erzeugen geschäftlichen Nutzen.“
Sieben Gründe rechtfertigen einen lokalen oder weitgehend lokalen Betrieb. Sie sollten im konkreten Fall belegbar sein, nicht nur grundsätzlich plausibel.
Technische Zeichnungen, Kalkulationen, Kundenakten, Personal- und Vertragsunterlagen, Preislisten. Voraussetzung: Das lokale System ist selbst ausreichend abgesichert.
Baustellencontainer, Produktionshallen, Werkstätten, Fahrzeuge, Schiffe und Hafenanlagen, abgelegene Betriebsstätten, temporäre Flächen.
Bei geeigneter Infrastruktur niedrigere, vorhersehbarere Antwortzeiten, etwa für Sprachassistenz, Maschinenbedienung, Bildprüfung oder Echtzeitklassifikation.
Bei hoher, stabiler Auslastung kann Eigenbetrieb wirtschaftlich werden, besonders bei vielen kurzen Anfragen oder großen internen Dokumentbeständen.
Produktions-, Sicherheits- oder Verwaltungsnetze ohne Internetverbindung können ein lokales Modell innerhalb der Umgebung bereitstellen.
Eine freigegebene Version lässt sich länger stabil halten. Im Gegenzug entsteht die Pflicht, Sicherheitsupdates und spätere Migrationen selbst zu organisieren.
Open-Weight-Modelle und austauschbare Laufzeitumgebungen verringern die Bindung an einen Anbieter. Vollständige Unabhängigkeit entsteht dennoch selten: Abhängigkeiten bleiben bei Hardware, Lizenzen, Betriebssystemen, Treibern, Open-Source-Komponenten, Partnern und Support.
Fünf verbreitete Annahmen führen in der Praxis zu Fehlentscheidungen. Sie sollten vor jeder Investition geklärt sein.
| Annahme | Warum sie so nicht stimmt |
|---|---|
| „Unsere Daten verlassen das Unternehmen nicht.“ | Nur, wenn auch Telemetrie, Updates, Protokolle, Oberflächen, Schnittstellen und Zusatzdienste entsprechend konfiguriert sind. Sonst übertragen Fehlerberichte, Update-Dienste, externe Embedding- oder Suchdienste oder Monitoring weiterhin Daten. |
| „Dann sind wir DSGVO-konform.“ | Der Speicherort allein entscheidet nicht. Zweck, Rechtsgrundlage, zulässige Datenarten, Datenminimierung, Löschkonzept, Auskunfts- und Berichtigungsprozesse, Rollen, Protokollierung und gegebenenfalls eine Datenschutz-Folgenabschätzung bleiben zu prüfen. |
| „Ein lokales Modell halluziniert nicht.“ | Falsche oder erfundene Antworten sind eine Eigenschaft generativer Modelle, keine Folge des Cloud-Betriebs. Auch lokal braucht es Quellenangaben, Schwellenwerte, fachliche Freigaben, Antwortverweigerung bei dünner Datenlage und menschliche Kontrollpunkte. |
| „Nach der Installation entstehen kaum Kosten.“ | Neben Hardware fallen Administration, Strom und Kühlung, Updates, Sicherheitsprüfungen, Datensicherung, Modelltests, Schnittstellenpflege, Support, Ausfallvorsorge und technische Erneuerung an. |
| „Open Source heißt kostenlos und frei nutzbar.“ | Häufig sind nur die Modellgewichte verfügbar. Lizenzbedingungen können Nutzung, Weitergabe, Änderung oder bestimmte Szenarien einschränken. Jedes Modell braucht eine dokumentierte Lizenzprüfung. |
Die Datenschutzkonferenz empfiehlt, Einsatzfelder, Zwecke, Rechtsgrundlagen, Verantwortlichkeiten, technische Schutzmaßnahmen und die Prüfung der Ergebnisse bereits vor der Einführung festzulegen.
Lokale KI entfaltet ihren Wert dort, wo eigene Daten und Prozesswissen entscheidend sind. Jede fachliche Antwort sollte mit Quelle, Dokumentversion und Freigabestatus ausgegeben werden.
Ein interner Assistent durchsucht Arbeitsanweisungen, Montagehandbücher, Produktdatenblätter, Wartungsunterlagen, Gefährdungsbeurteilungen, Qualitätsvorgaben und freigegebene Vorlagen.
Der Techniker beschreibt eine Störung per Sprache. Das System strukturiert Anlage, Fehlerbild, bisherige Maßnahmen, Ersatzteilbedarf und nächsten Schritt und schlägt passende Unterlagen oder frühere Fälle vor.
Protokolle aus Sprachnotizen, Bautagesberichte, Abweichungen aus Projektunterlagen, offene Punkte aus Besprechungen, Leistungsverzeichnisse. Ohne fachliche, technische oder rechtliche Freigabe zu ersetzen.
Verbindet Regelpläne, verkehrsrechtliche Anordnungen, Auflagen, Aufbau- und Kontrollprotokolle, Materiallisten und Prüfhinweise. Die Entscheidung zur konkreten Absicherung bleibt beim Fachpersonal.
Schichtübergaben strukturieren, Abweichungsberichte zusammenfassen, Prüfberichte klassifizieren, Arbeitsanweisungen auffinden, Fehlerbilder mit freigegebenen Fällen abgleichen.
Anfragen klassifizieren, Anforderungen aus E-Mails extrahieren, Referenzen finden, Angebotsbausteine vorschlagen, CRM-Einträge vorbereiten. Preise und Zusagen bleiben freigabepflichtig.
Für einige Aufgaben ist ein externer Dienst oder eine hybride Lösung wirtschaftlicher oder qualitativ besser geeignet. Diese Fälle sollten bewusst ausgenommen werden.
Wird nur gelegentlich sehr hohe Rechenleistung benötigt, ist externe Infrastruktur meist günstiger, etwa bei einmaligen Analysen sehr großer Dokumentbestände, umfangreicher Bild- oder Videogenerierung oder seltener Massenverarbeitung.
Kleinere lokale Modelle können bei anspruchsvollen Strategie-, Forschungs- oder Problemlösungsaufgaben hinter führenden externen Modellen zurückliegen.
Ein lokales Modell kennt nicht automatisch aktuelle Gesetze, neue Produktinformationen, Marktpreise, Nachrichten, Sicherheitsmeldungen oder geänderte Normen. Solche Inhalte brauchen kontrollierte Datenquellen oder externe Recherchefunktionen.
Besonders kritisch sind Entscheidungen zu Personalauswahl und -bewertung, Kreditwürdigkeit, Versicherungsleistungen, medizinischer Behandlung, Zugang zu wesentlichen Diensten oder Sicherheitsfreigaben. Hier gelten zusätzliche rechtliche, technische und organisatorische Anforderungen.
Angebote, Beschwerden, Leistungszusagen oder rechtlich relevante Auskünfte sollten nicht ohne definierte Freigaberegeln versendet werden.
Die EU-Regeln für bestimmte Hochrisiko-KI-Systeme wurden mit dem 2026 beschlossenen Digital Omnibus zeitlich gestaffelt: Für eigenständige Hochrisiko-Anwendungen (Anhang III) gelten sie ab 2. Dezember 2027, für KI in regulierten Produkten (Anhang I) ab 2. August 2028.
Die Leistungsfähigkeit kleinerer Modelle ist deutlich gestiegen. Der Stanford AI Index berichtet, dass sich der Abstand zwischen offen verfügbaren und geschlossenen Modellen auf ausgewählten Benchmarks innerhalb eines Jahres von acht auf 1,7 Prozent verringerte. Zugleich sank der Preis für eine Inferenzleistung auf GPT-3.5-Niveau zwischen November 2022 und Oktober 2024 um mehr als den Faktor 280. Hardwarekosten sanken zuletzt um rund 30 Prozent, die Energieeffizienz stieg um rund 40 Prozent pro Jahr.
Die beste KI ist die kleinste, die den Prozess zuverlässig erfüllt. Infrastruktur nicht für Jahre überdimensionieren, Modelle austauschbar halten, nicht allein nach öffentlichen Benchmarks entscheiden, regelmäßig neu bewerten und zuerst mit kleineren Modellklassen testen.
| Dimension | Leitfrage |
|---|---|
| Fachliche Qualität | Werden Aufgaben mit den eigenen Unterlagen richtig gelöst? |
| Antwortzeit | Ist die Geschwindigkeit für den Prozess ausreichend? |
| Parallelität | Wie viele Mitarbeiter nutzen das System gleichzeitig? |
| Ressourcenbedarf | Welche Hardware wird im Normal- und Spitzenbetrieb benötigt? |
| Betriebsfähigkeit | Lassen sich Modell, Lizenz und Software dauerhaft betreiben? |
Ein belastbarer Modelltest umfasst mindestens 50 bis 100 reale Aufgaben: typische Fragen, schwierige Grenzfälle, unvollständige Eingaben, widersprüchliche Dokumente, nicht beantwortbare Fragen, vertrauliche Inhalte, manipulierte Dokumente und fachlich falsche Annahmen des Nutzers. Freigabe erst, wenn definierte Mindestwerte erreicht werden.
Der Speicherbedarf der reinen Modellgewichte lässt sich näherungsweise berechnen:
Hinzu kommen Bedarfe für Laufzeitumgebung, Zwischenergebnisse, Kontextspeicher, mehrere parallele Nutzer, Embedding-Modelle, Sicherheitskomponenten sowie Betriebssystem und Reserven.
| Modellklasse | Typischer Einsatz |
|---|---|
| Kleine Modelle | Klassifikation, Extraktion, kurze Assistenzen, Einzelarbeitsplatz |
| Mittlere Modelle | Wissensassistent, Dokumentenanalyse, Serviceunterstützung |
| Große Modelle | Anspruchsvollere Schlussfolgerungen, komplexe Generierung, höhere Infrastrukturkosten |
| Mehrere spezialisierte Modelle | Routing nach Aufgabe, Datenklasse und benötigter Leistung |
Diese Einordnung ersetzt keinen Lasttest. Quantisierung, Kontextlänge, Ausgabelänge und Parallelität können die Anforderungen erheblich verändern.
Für den Arbeitsprozess zählen auch: Zeit bis zum ersten Ausgabewort, Antwortzeit bei 5, 10 oder 20 Nutzern, Verhalten bei langen Dokumenten, Stabilität nach mehreren Stunden, Fehlerrate bei Schnittstellenaufrufen, Auslastung bei der Indexierung neuer Dokumente und Wiederanlauf nach einem Ausfall.
Unternehmenswissen gehört meist in eine kontrollierte Wissensschicht, nicht in das Modell selbst. Bei Retrieval-Augmented Generation (RAG) sucht das System zunächst relevante Inhalte aus einer freigegebenen Datenbasis und übergibt sie dem Modell zusammen mit der Frage.
Richtlinien, Projektdokumente, Produktinformationen, Wartungsunterlagen, Verträge, Regelwerke und häufig aktualisierte Inhalte.
Vorteile: Wissen aktualisierbar ohne Neutraining, Quellen anzeigbar, Berechtigungen auf Dokumentebene, veraltete Inhalte entfernbar, Antworten auf freigegebene Quellen begrenzbar.
Wiederkehrende Ausgabeformate, Fachsprache, Klassifikation, spezifische Dialogmuster, strukturierte Extraktion, standardisierte Abläufe.
Weniger geeignet für häufig wechselnde Fakten, aktuelle Produktdaten, Dokumentversionen, Berechtigungssteuerung und gezielt löschbare Inhalte.
„RAG stellt Wissen bereit. Fine-Tuning verändert das Verhalten.“
In vielen Unternehmenslösungen ist die Kombination sinnvoll:
ein geeignetes Basismodell,
eine kontrollierte Wissensbasis,
klare Prozessregeln,
bei Bedarf eine begrenzte fachliche Anpassung.
Die Datenschutzkonferenz weist darauf hin, dass RAG die datenschutzrechtliche Bewertung beeinflussen kann, aber weiterhin eine Einzelfallprüfung erfordert. Rechtsgrundlagen, Betroffenenrechte, Schutz vor Datenextraktion und die Sicherheit der angebundenen Wissensbasis bleiben relevant.
Eine belastbare Unternehmensarchitektur besteht aus acht aufeinander abgestimmten Bausteinen.
Web, mobil, Integration in Fachsysteme, Sprach- oder Telefonieschnittstelle.
Anmeldung über bestehende Konten, Rollen und Gruppen, Dokumentberechtigungen, MFA.
Entscheidet über Modellwahl, zulässige Daten, Werkzeugaufrufe, Protokolle und Sperren.
Modellverwaltung, Ressourcensteuerung, Parallelisierung, Versionswechsel, Rückfall.
Import, Texterkennung, Abschnitte, Metadaten, Vektor- und Volltextsuche, Versionierung, Löschung.
ERP, CRM, DMS, Fileserver, E-Mail, Kalender, Ticket, Produktion, Projektmanagement, Telefonie.
Fehler, Laufzeiten, Nutzung, Modellversion, Datenquelle, Qualitäts- und Sicherheitsereignisse.
Freigegebene Anwendungsfälle, Datenklassen, Kontrollpunkte, Eskalation, Qualitätsgrenzen, Verantwortung.
Kein Baustein trägt allein. Erst ihr Zusammenwirken macht die KI produktiv und kontrollierbar.
Generative KI bringt zusätzliche Angriffsflächen mit sich. Das Bundesamt für Sicherheit in der Informationstechnik nennt unter anderem Risiken durch manipulierte Eingaben, ungewollte Informationspreisgabe, fehlerhafte Ergebnisse und Angriffe auf Modelle und Daten. Das NIST empfiehlt, Risiken über den gesamten Lebenszyklus zu erfassen, zu messen und zu behandeln, von Auswahl und Entwicklung bis Betrieb und Außerbetriebnahme.
Ein Dokument oder eine Eingabe enthält versteckte Anweisungen, die das gewünschte Verhalten überschreiben sollen.
Das Modell gibt Informationen aus, für die der Nutzer keine Berechtigung besitzt.
Ein kompromittiertes Dokument beeinflusst spätere Antworten.
Modelldateien, Container, Bibliotheken oder Erweiterungen enthalten Schwachstellen oder schädliche Teile.
Ein System mit Schreibrechten auf E-Mail, Dateien, CRM oder ERP führt unerwünschte Aktionen aus.
Prompts, Antworten, Zugangsdaten oder personenbezogene Daten werden ungeschützt protokolliert.
Leserechte können breit sein, Schreibrechte müssen eng begrenzt und nachvollziehbar bleiben.
Vor dem produktiven Einsatz sollten dokumentiert sein: Verarbeitungszweck, betroffene Personengruppen, Datenarten, Rechtsgrundlage, Speicher- und Löschfristen, Empfänger und Schnittstellen, technische und organisatorische Maßnahmen, Berichtigungs- und Löschmöglichkeiten sowie die Erforderlichkeit einer Datenschutz-Folgenabschätzung. Der Europäische Datenschutzausschuss stellt fest, dass mit personenbezogenen Daten trainierte Modelle nicht pauschal als anonym gelten; die Möglichkeit einer Extraktion ist im Einzelfall zu bewerten.
Bei Leistungsbewertung, Personalauswahl, Einsatzplanung, Zeiterfassung, Verhaltens- oder Qualifikationsanalyse sollten Datenschutzbeauftragter, Personalbereich und gegebenenfalls die Arbeitnehmervertretung frühzeitig eingebunden werden.
Die Pflicht, für eine angemessene KI-Kompetenz der eingesetzten Mitarbeiter zu sorgen, gilt bereits seit dem 2. Februar 2025. Mit dem 2026 final beschlossenen Digital Omnibus wurden mehrere Fristen angepasst:
| Datum | Was gilt |
|---|---|
| seit 02.02.2025 | Pflicht zur ausreichenden KI-Kompetenz der Beschäftigten (Art. 4) |
| ab 02.08.2026 | Behördliche Aufsicht und die meisten Transparenzpflichten (Art. 50), etwa Kennzeichnung von Chatbots und Deepfakes |
| ab 02.12.2026 | Anbieter-Kennzeichnung KI-generierter Inhalte (Art. 50 Abs. 2) für Bestandssysteme; neues Verbot missbräuchlicher Bildinhalte |
| ab 02.12.2027 | Pflichten für eigenständige Hochrisiko-Systeme (Anhang III) |
| ab 02.08.2028 | Pflichten für Hochrisiko-KI in regulierten Produkten (Anhang I) |
Für lokale KI heißt das: Nutzer müssen Grenzen und Fehlermöglichkeiten kennen, Administratoren zusätzliche technische Kenntnisse besitzen, Fachbereiche Ergebnisse bewerten können; Schulungen sollten dokumentiert werden. Dieses Whitepaper stellt keine Rechtsberatung dar.
Ein produktiver KI-Betrieb verteilt Verantwortung auf klar benannte Rollen. Fehlt eine davon, entstehen die typischen Schwachstellen.
Strategische Zielsetzung, Risikobereitschaft, Budget, organisatorische Verankerung, Freigabe wesentlicher Einsatzbereiche.
Prozessnutzen, fachliche Anforderungen, Testfälle, Akzeptanzkriterien, Kontrollpunkte, fachliche Freigabe.
Architektur, Verfügbarkeit, Schnittstellen, Updates, Datensicherung, technische Dokumentation.
Bedrohungsanalyse, Schutzmaßnahmen, Schwachstellenmanagement, Überwachung, Incident Response.
Rechtsgrundlage, Zweckbindung, Datenminimierung, Betroffenenrechte, Löschung, Folgenabschätzung.
Freigegebene Quellen, Dokumentversionen, Aktualität, Archivierung, fachliche Zuständigkeit.
Testdatensätze, Fehlermuster, Freigabeschwellen, regelmäßige Nachtests, Qualitätsberichte.
Betrieb ohne benannten Systemverantwortlichen, Fachbereich ohne Mitwirkung an Tests, unkontrollierte Dokumentimporte, Administrator als alleiniger Qualitätsprüfer, unbeschränkte Schreibrechte für KI-Agenten, Produktivbetrieb ohne Rückfall- und Abschaltverfahren.
Hat sich die Lizenz geändert? Wird die benötigte Sprache unterstützt? Ändert sich das Antwortverhalten? Funktionieren bestehende Prompts und Schnittstellen? Ändert sich der Ressourcenbedarf? Bestehen neue Sicherheitsrisiken? Werden die fachlichen Mindestwerte weiter erreicht?
Modellname und Herkunft, Lizenz, Prüfsumme, Quantisierung, Laufzeitumgebung, Systemprompt, Sicherheitsregeln, angebundene Wissensquellen, Testergebnisse, Freigabedatum, verantwortliche Personen.
Ein produktives System braucht eine vorherige freigegebene Modellversion, gesicherte Konfiguration und Wissensindizes, einen dokumentierten Wiederanlauf, die Abschaltmöglichkeit einzelner Funktionen und einen manuellen Ersatzprozess.
Eine belastbare Wirtschaftlichkeitsbetrachtung erfasst die gesamten Betriebskosten über den Lebenszyklus, nicht nur die Anschaffung.
Server oder Workstation, GPU, Speicher, Netzanpassungen, Installation, Integration, Aufbau der Wissensbasis, Sicherheitsprüfung, Pilotierung.
Strom und Kühlung, Hosting, Administration, Monitoring, Datensicherung, Updates, Qualitätstests, Support, Ersatzhardware, Sicherheitsmanagement.
Ausfallzeiten, fehlende Fachverantwortung, Pflege veralteter Dokumente, Modellmigration, Abhängigkeit von Einzelpersonen, geringe Nutzerakzeptanz.
| Kostenblock | Lokal / Jahr | Extern / Jahr |
|---|---|---|
| Hardwareabschreibung | 7.000 € | – |
| Energie und Infrastruktur | 3.000 € | – |
| Administration und Updates | 12.000 € | 6.000 € |
| Support und Sicherheit | 5.000 € | 4.000 € |
| Nutzungsentgelte | – | 30.000 € |
| Gesamt | 27.000 € | 40.000 € |
Diese Beispielwerte sind keine Marktpreise. Schon geringere Nutzung, höhere Verfügbarkeitsanforderungen oder zusätzlicher Administrationsbedarf können das Ergebnis umkehren.
Lokaler Betrieb wird eher interessant, wenn die Nutzung hoch und stabil ist, ein geeignetes internes Betriebsteam vorhanden ist, sensible Daten verarbeitet werden, die benötigte Modellklasse beherrschbar bleibt und keine extremen Lastspitzen auftreten.
Bewerten Sie jedes Kriterium von 0 bis 3 (0 = nicht relevant, 1 = gering, 2 = relevant, 3 = geschäftskritisch) und multiplizieren Sie mit dem Gewicht. Negative Gewichte sprechen gegen den Eigenbetrieb.
| Kriterium | Gewicht | Bewertung |
|---|---|---|
| Besonders sensible Informationen | 3 | 0–3 |
| Betrieb ohne Internet erforderlich | 3 | 0–3 |
| Konstante hohe Nutzung | 2 | 0–3 |
| Sehr kurze Reaktionszeit | 2 | 0–3 |
| Integration in abgeschottete Systeme | 3 | 0–3 |
| Eigene IT-Betriebsfähigkeit | 3 | 0–3 |
| Hohe Anforderungen an führende Modellleistung | −2 | 0–3 |
| Stark schwankende Auslastung | −2 | 0–3 |
| Häufig aktuelle externe Informationen | −2 | 0–3 |
| Begrenztes Betriebsbudget | −2 | 0–3 |
Ein lokaler oder weitgehend lokaler Betrieb sollte vertieft geprüft werden.
Eine hybride Architektur ist häufig die beste Ausgangsbasis.
Ein kontrollierter externer Dienst oder eine Private Cloud ist wahrscheinlich wirtschaftlicher.
Die Matrix ersetzt keine Datenschutz-, Sicherheits- oder Wirtschaftlichkeitsprüfung. Sie dient der Vorauswahl.
Vom Anwendungsfall zum belastbaren Betriebsentscheid, ohne mit „Wir brauchen ein lokales Sprachmodell“ zu beginnen.
Konkreter Engpass statt Technologiewunsch.
Für den Start oft 10 bis 20 Nutzer.
Freigegebene Dokumente, Testdaten, anonymisierte Fälle.
Öffentlich, intern, vertraulich, besonders geschützt.
Mindestens 50 reale Aufgaben und Grenzfälle.
Zwei Modellklassen plus externe Referenz.
Verantwortlicher, Version, Gültigkeit, Berechtigung, Löschregel.
Zugriff, Protokoll, Sicherung, Manipulationsschutz.
Zeitersparnis, Qualität, Fehlerarten, Akzeptanz, Kosten.
Lokal, Private Cloud, hybrid oder vorerst kein Einsatz.
Je erfüllter Punkt ergibt einen Punkt. Der Check bewertet die organisatorische Reife, nicht die Technik allein.
Prozess beschrieben · Nutzen messbar · Nutzergruppe bekannt · Fachbereich verantwortlich.
Quellen bekannt · Dokumente mit Verantwortlichen · Version und Gültigkeit erkennbar · Berechtigungen dokumentiert · Veraltetes entfernbar · personenbezogene Daten identifiziert.
Modellleistung getestet · Parallelität und Antwortzeit gemessen · Schnittstellen definiert · Sicherung und Wiederherstellung vorgesehen · Monitoring geplant · Rückfallverfahren vorhanden.
Bedrohungen bewertet · Schreibrechte begrenzt · geprüfte Modell- und Softwarequellen · Protokolle ohne unnötige sensible Inhalte · Vorfälle erkennbar und bearbeitbar.
Im KI-Verzeichnis erfasst · Datenschutz und Informationssicherheit eingebunden · Nutzer geschult · Kontrollpunkte festgelegt · Qualitätskriterien dokumentiert · Verantwortlicher für Updates · Fehler und Beschwerden meldbar.
Ausgangssituation. Ein technischer Dienstleister mit mehreren Serviceteams verfügt über Wartungshandbücher, Maschinenakten, Störungsberichte, Ersatzteilinformationen, E-Mail-Verläufe und Erfahrungswissen einzelner Techniker. Die Informationen liegen verstreut in Fileservern, im DMS und in unterschiedlichen Ordnerstrukturen.
Zielbild. Ein lokaler Serviceassistent soll:
das gemeldete Fehlerbild strukturieren,
passende Unterlagen auffinden,
ähnliche frühere Störungen anzeigen,
Prüfschritte vorschlagen,
einen Servicebericht vorbereiten.
Lokales Sprachmodell, RAG-Wissensbasis, Anmeldung über Unternehmensaccounts, Zugriff anhand bestehender Berechtigungen, keine automatischen ERP-Änderungen, Quellenanzeige bei jeder fachlichen Antwort.
Der Servicetechniker entscheidet über Diagnose, Ersatzteile und ausgeführte Arbeiten. Die KI liefert Vorschläge und Fundstellen, keine verbindlichen Festlegungen.
Suchzeit nach Unterlagen, Vollständigkeit der Serviceberichte, Anteil verwendbarer Vorschläge, fachliche Fehler und Akzeptanz im Außendienst.
Ausgangssituation. Bauleiter und Projektverantwortliche dokumentieren Baustellenfortschritt, Behinderungen, Zusatzleistungen, Materialeinsatz, Abnahmen, offene Punkte und Fotos. Die Informationen entstehen als Sprachnotiz, Messenger-Nachricht, E-Mail oder handschriftliche Notiz.
Zielbild. Eine lokale KI-Anwendung soll Sprachnotizen strukturieren, Angaben einem Projekt zuordnen, fehlende Pflichtinformationen anzeigen, einen Bautagesbericht vorbereiten, offene Punkte und Fristen extrahieren und relevante Projektunterlagen auffinden.
| Das System leistet | Das System leistet ausdrücklich nicht |
|---|---|
| Sprachnotizen strukturieren und zuordnen | keine rechtliche Bewertung eines Nachtrags |
| Pflichtangaben und offene Punkte anzeigen | keine Leistungszusagen versenden |
| Bautagesbericht vorbereiten | keine Abrechnungsdaten ohne Freigabe ändern |
| Projektunterlagen auffinden | keine Prüfung durch Bauleitung oder Projektsteuerung ersetzen |
Weniger Medienbrüche, vollständigere Dokumentation, schnellere Projektübergaben, bessere Auffindbarkeit von Sachverhalten und geringere Abhängigkeit von Einzelwissen.
Ausgangssituation. Ein mittelständischer Betrieb besitzt ein DMS, ein ERP, mehrere Fileserver und zahlreiche Prozessbeschreibungen. Mitarbeiter suchen häufig nach der aktuellen Vorlage, der gültigen Arbeitsanweisung, der zuständigen Person, der freigegebenen Produktinformation oder einer früheren Projektentscheidung.
Zielbild. Ein Company Brain verbindet die freigegebenen Quellen mit einem lokalen oder hybriden Sprachmodell. Jede Antwort enthält die verwendete Quelle, die Dokumentversion, den Freigabestatus, den verantwortlichen Bereich und den Zeitpunkt der letzten Aktualisierung. Bei fehlender Datenbasis antwortet das System nicht spekulativ, sondern verweist auf die zuständige Stelle.
Lokale KI kann für mittelständische Unternehmen ein sinnvoller Baustein sein. Sie bietet Vorteile bei Datensouveränität, Offline-Fähigkeit, Integration und planbarer Nutzung. Diese Vorteile entstehen jedoch erst, wenn fünf Voraussetzungen erfüllt sind: ein abgegrenzter geschäftlicher Anwendungsfall, eine gepflegte und berechtigungsgesteuerte Wissensbasis, eine passende Infrastruktur, definierte Sicherheits- und Governance-Verfahren sowie ein dauerhaft verantworteter Betrieb.
KrambergAI bewertet mit Ihnen geeignete Anwendungsfälle, Daten- und Schutzbedarf, lokale, private und hybride Architekturvarianten, Modell- und Infrastrukturbedarf, Betriebs- und Sicherheitsanforderungen, die grobe Wirtschaftlichkeit und den sinnvollen Umfang eines Pilotprojekts. Ergebnis ist eine kompakte Entscheidungsunterlage mit Architekturvorschlag, Voraussetzungen, Risiken und Pilotplan.
Statistisches Bundesamt (Destatis) – Nutzung von IKT in Unternehmen 2025.
26 % der Unternehmen ab 10 Beschäftigten nutzten 2025 KI (kleine 23 %, mittlere 36 %, große 57 %); wichtigste
Hinderungsgründe: fehlendes Wissen, rechtliche Unsicherheit, Datenschutz.
www.destatis.de
KfW Research – Einsatz von Künstlicher Intelligenz im Mittelstand (Fokus Volkswirtschaft Nr. 533, Februar 2026).
Sonderauswertung des KfW-Mittelstandspanels: rund 780.000 mittelständische Unternehmen mit KI-Einsatz (20 %),
Baugewerbe 8 %, FuE-treibende Unternehmen 53 %.
www.kfw.de
Eurostat – Use of Artificial Intelligence in Enterprises 2025. EU-weite Daten zu Nutzung, Einsatzbereichen und Hinderungsgründen.
ec.europa.eu/eurostat
Stanford Institute for Human-Centered AI (HAI) – AI Index Report 2025.
Abstand offener zu geschlossenen Modellen auf ausgewählten Benchmarks von 8 % auf 1,7 % gesunken; Inferenzkosten
auf GPT-3.5-Niveau zwischen November 2022 und Oktober 2024 um mehr als Faktor 280 gefallen.
hai.stanford.edu
Bundesamt für Sicherheit in der Informationstechnik (BSI) – Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden.
www.bsi.bund.de
Datenschutzkonferenz (DSK) – Orientierungshilfen zum datenschutzkonformen Einsatz von KI-Anwendungen, u. a. mit Bezug auf die RAG-Methode.
www.datenschutzkonferenz-online.de
Europäischer Datenschutzausschuss (EDPB)
– Opinion 28/2024 zu Datenschutzaspekten von KI-Modellen. Mit
personenbezogenen Daten trainierte Modelle gelten nicht pauschal als
anonym.
www.edpb.europa.eu
Europäische Kommission / Rat der EU
– EU AI Act und Digital Omnibus. Der Rat gab am 29. Juni 2026 grünes
Licht für die gestaffelten neuen Anwendungsfristen (Anhang III ab 2.
Dezember 2027, Anhang I ab 2. August 2028).
digital-strategy.ec.europa.eu · www.consilium.europa.eu
National Institute of Standards and Technology (NIST) – AI Risk Management Framework. Rahmenwerk für Governance, Messung und Behandlung von KI-Risiken über den Lebenszyklus.
www.nist.gov
Die genannten Studien verwenden unterschiedliche Grundgesamtheiten, Unternehmensgrößen, Zeiträume und Methoden. Prozentwerte sind daher nicht unmittelbar vergleichbar. Übereinstimmend zeigen sie eine wachsende, sich beschleunigende KI-Nutzung bei fortbestehenden Defiziten in Wissen, Recht, Datenqualität und Betrieb. Dieses Whitepaper dient der fachlichen Orientierung und stellt keine Rechts-, Datenschutz- oder Informationssicherheitsberatung dar.