UnternehmensGPT

Für wen dieses Dokument geschrieben ist

Dieses Whitepaper richtet sich an Geschäftsführer, IT-Leiter, Bereichsleiter und Verantwortliche für Digitalisierung in mittelständischen Unternehmen. Es setzt keine KI-Vorkenntnisse voraus, verzichtet aber bewusst auf Vereinfachungen, die in der Umsetzung teuer werden.

Aufbau in fünf Teilen

1. Ausgangslage. Warum Wissenszugang heute zum Engpass wird und was Marktzahlen dazu tatsächlich hergeben.
2. Grundlagen. Was ein UnternehmensGPT ist, wie es sich vom Company Brain und von KI-Mitarbeitern unterscheidet und wo es sinnvoll eingesetzt wird.
3. Technik und Schutz. Architektur, Retrieval-Verfahren, Wissensquellen, Berechtigungen, Angriffsflächen, Datenschutz und Governance.
4. Umsetzung. Qualitätsmessung, Pilotauswahl, 90-Tage-Vorgehen und drei ausführliche Praxisbeispiele.
5. Entscheidung. Wirtschaftlichkeit, Akzeptanz, Betriebsformen, Anbieterauswahl, Reifegrad-Check und typische Fehlentscheidungen.

Unternehmenswissen wird zum Engpass

Unternehmen verfügen heute über mehr Informationen als je zuvor. Trotzdem müssen Mitarbeiter häufig Kollegen fragen, Ordner durchsuchen oder mehrere Systeme öffnen, bevor sie eine belastbare Antwort haben.

Wie groß dieser Aufwand ist, lässt sich inzwischen beziffern. In einer internationalen Befragung von 12.000 Wissensarbeitern und 200 Führungskräften großer Unternehmen kam Atlassian zu dem Ergebnis, dass Teams und Führungskräfte rund ein Viertel ihrer Arbeitswoche mit der Suche nach Informationen verbringen. 56 Prozent der Befragten gaben an, häufig nur dann an die benötigte Information zu kommen, wenn sie eine andere Person fragen oder einen Termin vereinbaren. Jeder zweite Wissensarbeiter berichtete zudem, dass Teams im eigenen Unternehmen unbemerkt an denselben Themen arbeiten.

Quelle: Atlassian, State of Teams 2025 (Befragung von 12.000 Wissensarbeitern in sechs Ländern sowie 200 Führungskräften von Fortune-1000-Unternehmen). atlassian.com

Der Druck kommt von zwei Seiten

Gleichzeitig steigen die Erwartungen an die Leistungsfähigkeit. Microsoft berichtet im Work Trend Index 2025 auf Basis einer Befragung von 31.000 Beschäftigten in 31 Ländern, dass 53 Prozent der Führungskräfte eine höhere Produktivität für notwendig halten, während 80 Prozent der Beschäftigten und Führungskräfte angeben, ihnen fehle bereits heute die notwendige Zeit oder Energie für ihre Arbeit. Diese Lücke lässt sich nicht durch mehr Anstrengung schließen. Sie ist ein Hinweis darauf, dass die Arbeitsorganisation selbst der Engpass ist – und der Zugang zu Wissen ist ein zentraler Teil davon.

Quelle: Microsoft, Work Trend Index Annual Report 2025, veröffentlicht April 2025. microsoft.com/worklab

Ein UnternehmensGPT kann diese Lücke verkleinern. Es verbindet ein Sprachmodell mit kontrollierten internen Wissensquellen und stellt Antworten einschließlich Quellenhinweisen bereit. Der wesentliche Nutzen liegt dabei nicht im Chatfenster, sondern in der Verkürzung wiederkehrender Wissensprozesse:

Fünf Grundlagen entscheiden über den Erfolg

Die Technologie ist inzwischen der einfachere Teil des Vorhabens. Ein produktiv einsetzbares UnternehmensGPT benötigt fünf Grundlagen, die sich nicht durch die Auswahl eines besseren Modells ersetzen lassen.

1. Ein abgegrenzter geschäftlicher Anwendungsfall. Nicht „KI im Unternehmen“, sondern ein konkreter Arbeitsprozess mit wiederkehrenden Fragen, benennbaren Nutzern und messbarem Aufwand.
2. Geeignete und verantwortete Wissensquellen. Dokumente mit erkennbarem Gültigkeitsstand, einem fachlichen Eigentümer und ohne widersprüchliche Dubletten. Wo diese Grundlage fehlt, entsteht keine bessere Antwort, sondern eine schnellere falsche.
3. Ein belastbares Berechtigungsmodell. Niemand darf über das UnternehmensGPT an Informationen gelangen, auf die er im Ursprungssystem keinen Zugriff hätte.
4. Messbare Qualitätskriterien. Ein reproduzierbarer Testkatalog mit realen Fragen, Sonderfällen und bewusst nicht beantwortbaren Fragen. Ohne Messung bleibt jede Bewertung Geschmackssache.
5. Ein Betriebs- und Governance-Modell. Verantwortlichkeiten, Freigaben, Monitoring, Kosten und ein Verfahren für Fehler und Änderungen.

Was die Erfahrung aus laufenden Programmen zeigt

Der Erfolg hängt weniger am Werkzeug als an der Organisation um das Werkzeug herum. Microsoft kommt im Work Trend Index 2026 auf Basis einer Befragung von 20.000 KI-nutzenden Beschäftigten in zehn Ländern zu dem Ergebnis, dass organisatorische Faktoren – Kultur, Unterstützung durch Führungskräfte und Personalpraktiken – rund 67 Prozent der berichteten KI-Wirkung erklären, individuelle Faktoren wie Einstellung und Nutzungsverhalten dagegen 32 Prozent. Microsoft weist ausdrücklich darauf hin, dass es sich um statistische Zusammenhänge und nicht um nachgewiesene Ursachen handelt.

Für die Planung eines UnternehmensGPT folgt daraus eine unbequeme Konsequenz: Ein Projekt, das ausschließlich als IT-Vorhaben aufgesetzt wird, verschenkt den größeren Teil des möglichen Nutzens.

Quelle: Microsoft, Work Trend Index Annual Report 2026, veröffentlicht Mai 2026. microsoft.com/worklab

Vom allgemeinen KI-Chat zum Unternehmenswissen

Generative KI ist in der Unternehmenspraxis angekommen. Der nächste Entwicklungsschritt besteht darin, allgemeine Sprachmodelle mit dem Kontext des jeweiligen Unternehmens zu verbinden.

Nach Angaben von Eurostat nutzten im Jahr 2025 rund 20,0 Prozent der Unternehmen in der Europäischen Union mit zehn oder mehr Beschäftigten mindestens eine KI-Technologie. 2024 waren es 13,5 Prozent, 2023 erst 8,1 Prozent. Der Abstand nach Unternehmensgröße ist dabei erheblich: 17 Prozent bei kleinen, 30,4 Prozent bei mittleren und 55,0 Prozent bei großen Unternehmen. Wer im Mittelstand heute noch abwartet, wartet nicht mehr mit der Mehrheit.

Quelle: Eurostat, Use of artificial intelligence in enterprises, Datenstand 2025, veröffentlicht Dezember 2025. ec.europa.eu/eurostat

Für Deutschland meldete der Digitalverband Bitkom im März 2026, dass 41 Prozent der Unternehmen ab 20 Beschäftigten KI einsetzen. Weitere 48 Prozent planen oder diskutieren den Einsatz, nur noch 11 Prozent lehnen ihn ab. Von den Unternehmen, die KI einsetzen, berichten 77 Prozent über eine verbesserte Wettbewerbsposition und 52 Prozent über einen messbaren Beitrag zum Unternehmenserfolg. Gleichzeitig geben 33 Prozent an, dass KI zu deutlich höheren Kosten geführt hat als zuvor erwartet.

Quelle: Bitkom, Presseinformation vom 11. März 2026, repräsentative Befragung von 604 Unternehmen ab 20 Beschäftigten, erhoben Anfang 2026. bitkom.org

Verbreitung ist nicht gleich Reife

Eine OECD-Erhebung unter mehr als 5.000 kleinen und mittleren Unternehmen in Österreich, Kanada, Deutschland, Irland, Japan, Korea und dem Vereinigten Königreich zeigt, dass generative KI im Durchschnitt in 30,7 Prozent der befragten KMU genutzt wird – in Deutschland mit 38,7 Prozent am häufigsten. Die Erhebung stammt aus dem Jahr 2024, die Auswertung wurde 2025 veröffentlicht. Bemerkenswert ist ein Nebenbefund: Von den KMU, die generative KI nutzen, setzen nur 29 Prozent sie in ihren Kernaktivitäten ein. Überwiegend handelt es sich um allgemein verfügbare Werkzeuge am Rand der Wertschöpfung und noch nicht um kontrolliert eingeführte Unternehmenslösungen.

Quelle: OECD (2025), Generative AI and the SME Workforce: New Survey Evidence, OECD Publishing, Paris. oecd.org

Genau an dieser Stelle setzt ein UnternehmensGPT an. Es verlagert generative KI vom Rand in den Arbeitsprozess – und stellt damit Anforderungen, die ein öffentlich zugängliches Chatwerkzeug nicht erfüllen muss.

Was ein öffentliches KI-System nicht wissen kann

Ein allgemeines Sprachmodell kennt die Welt, aber nicht Ihr Unternehmen. Es kennt typischerweise nicht:

Erst der Zugriff auf freigegebenes Unternehmenswissen macht aus einem allgemeinen KI-Chat eine arbeitsfähige Unternehmensanwendung. Der Unterschied ist nicht graduell, sondern grundsätzlich.

Der strategische Unterschied im Überblick

Diese Lücke ist die eigentliche Chance. Sie ist aber auch der Grund, warum solche Vorhaben anspruchsvoller sind als ein Chatbot auf der Website: Internes Wissen ist unordentlicher, sensibler und verbindlicher als externes Marketingmaterial.

Dokumente sind noch kein Unternehmensgedächtnis

Viele Unternehmen haben kein Informationsproblem. Sie haben ein Zugangs- und Strukturproblem.

Das benötigte Wissen ist vorhanden. Es liegt nur an vielen Orten gleichzeitig und in Formaten, die für unterschiedliche Zwecke und zu unterschiedlichen Zeitpunkten entstanden sind:

Häufig fehlen Verantwortlichkeiten, Versionen oder einheitliche Metadaten. Ein Dokument liegt in vier Fassungen vor, drei davon in unterschiedlichen Ordnern, und niemand kann auf Anhieb sagen, welche gilt. Das ist kein Versäumnis Einzelner. Es ist die normale Folge davon, dass Ablagen über Jahre mitwachsen, während die Ordnungslogik einmal am Anfang festgelegt wurde.

Warum klassische Suche das Problem nicht löst

Volltextsuche findet Dokumente, in denen ein Wort vorkommt. Sie findet nicht die Antwort auf eine Frage, die aus drei Dokumenten zusammengesetzt werden müsste. Sie unterscheidet nicht zwischen gültig und überholt. Und sie hilft nicht, wenn der Suchende den Fachbegriff nicht kennt, mit dem das Dokument geschrieben wurde. Genau diese drei Punkte adressiert ein UnternehmensGPT: Zusammenführung, Gültigkeitskontext und Sprache.

Umgekehrt gilt: Wo eine gute Suche und eine gepflegte Ablage bereits vorhanden sind, ist der Zusatznutzen geringer als erhofft. Der Nutzen entsteht dort, wo Fragen heute Menschen beschäftigen.

Typische Symptome im Arbeitsalltag

Drei Arten von Wissensverlust

1. Operativer Wissensverlust. Mitarbeiter verbringen Zeit mit Suchen, Rückfragen und Mehrfacharbeit. Dieser Verlust ist der sichtbarste und am leichtesten zu beziffern.
2. Qualitativer Wissensverlust. Entscheidungen werden auf Grundlage veralteter oder unvollständiger Informationen getroffen. Dieser Verlust ist teurer, wird aber selten dem Wissenszugang zugerechnet, weil er erst später sichtbar wird.
3. Struktureller Wissensverlust. Beim Ausscheiden erfahrener Mitarbeiter gehen Zusammenhänge und Erfahrungswerte verloren. Er lässt sich nicht kurzfristig kompensieren – und in Zeiten demografischen Wandels trifft er den Mittelstand besonders.

Was ist ein UnternehmensGPT?

Der Begriff „GPT“ hat sich als allgemein verständliche Bezeichnung für eine dialogorientierte generative KI eingebürgert. Technisch ist er unpräzise: Ein UnternehmensGPT muss weder auf einem bestimmten Modell noch auf einem bestimmten Anbieter basieren. Für die Praxis ist das eine gute Nachricht, denn es bedeutet, dass die Architektur wichtiger ist als die Marke.

Sieben Komponenten, die zusammenspielen müssen

1. Benutzeroberfläche. Chat, Suche, Microsoft Teams, Intranet, mobile Anwendung oder Einbettung in eine Fachanwendung. Die beste Oberfläche ist meistens die, die Mitarbeiter ohnehin geöffnet haben.
2. Identitäts- und Berechtigungsmanagement. Anmeldung, Rollen, Gruppen, Mandanten, Abteilungen und projektspezifische Zugriffsrechte – möglichst aus den bestehenden Verzeichnisdiensten.
3. Wissensschicht. Dokumente, Datenbanken, Wikis, Fachsysteme und weitere freigegebene Quellen einschließlich ihrer Metadaten.
4. Such- und Retrieval-Komponente. Ermittelt die für eine Frage relevanten Inhalte. Sie entscheidet in der Praxis stärker über die Antwortqualität als das Sprachmodell selbst.
5. Sprachmodell. Formuliert eine Antwort auf Grundlage der gefundenen Informationen – nicht auf Grundlage seines allgemeinen Weltwissens.
6. Steuerungslogik. Vorgaben zur Antwortstruktur, Quellenverwendung, Verweigerung und Eskalation. Hier werden aus technischen Möglichkeiten betriebliche Regeln.
7. Qualitäts- und Sicherheitsfunktionen. Protokollierung, Tests, Feedback, Monitoring und Schutz vor missbräuchlichen Eingaben.

Was ein UnternehmensGPT nicht ist

Eine saubere Abgrenzung erspart im Projektverlauf Enttäuschungen. Die folgenden Punkte werden in Erstgesprächen regelmäßig anders erwartet.

Und ausdrücklich: kein Ersatz für fachliche Verantwortung

Der Microsoft Work Trend Index 2026 berichtet, dass 86 Prozent der befragten KI-Nutzer die Ausgabe eines KI-Systems als Ausgangspunkt und nicht als Endergebnis behandeln. Als wichtigste menschliche Fähigkeiten nannten sie die Qualitätskontrolle der KI-Ausgabe (50 Prozent) und kritisches Denken (46 Prozent). Das passt zur Erfahrung aus der Praxis: Der Nutzen steigt, wenn Menschen prüfen. Er sinkt, wenn sie aufhören, zu prüfen.

Quelle: Microsoft, Work Trend Index Annual Report 2026, Befragung von 20.000 KI-nutzenden Beschäftigten in zehn Ländern. microsoft.com/worklab

UnternehmensGPT, Company Brain und KI-Mitarbeiter

In der Praxis werden diese drei Begriffe regelmäßig vermischt. Für die Planung ist die Abgrenzung hilfreich, weil sie die richtige Reihenfolge vorgibt.

Die empfohlene Reihenfolge

1. Unternehmenswissen ordnen. Quellen, Verantwortliche, Gültigkeit, Rechte.
2. UnternehmensGPT für kontrollierte Wissensabfragen aufbauen. Lesen, nicht handeln.
3. Wiederkehrende Aufgaben ergänzen. Entwürfe, Zusammenfassungen, Vorbereitungen – mit menschlicher Freigabe.
4. Erst danach agentische und teilautonome Abläufe einführen.

Wo ein UnternehmensGPT schnell Nutzen schafft

Der beste Einstieg liegt selten in einer unternehmensweiten Universallösung. Geeigneter ist ein Bereich mit vielen wiederkehrenden Wissensfragen und einer überschaubaren Anzahl verantworteter Quellen.

1. Technischer Service und Instandhaltung

2. Bau- und Projektgeschäft

3. Vertrieb und Angebotswesen

Weitere Felder und das Eignungsprofil

Besonders geeignet sind Prozesse, in denen …

• dieselben Fragen regelmäßig auftreten,
• Informationen aus mehreren Dokumenten zusammengeführt werden müssen,
• erfahrene Mitarbeiter häufig unterbrochen werden,
• die Antwort prüfbar ist, weil eine Quelle existiert,
• ein falsches Ergebnis zwar relevant, aber kontrollierbar ist,
• es einen Fachbereich gibt, der die Verantwortung übernimmt.

Weniger geeignet sind Prozesse, in denen …

• Einzelfälle dominieren und sich Fragen kaum wiederholen,
• die Antwort ausschließlich aus strukturierten Daten stammt und im ERP besser aufgehoben ist,
• keine belastbaren Quellen existieren, sondern nur Erfahrung im Kopf,
• eine falsche Antwort unmittelbar Personen gefährdet,
• die Fragen so selten sind, dass niemand das System nutzen wird.

Vom Benutzer zur belastbaren Antwort

Eine einzelne Anfrage durchläuft mehrere technische und organisatorische Ebenen. Wer diesen Ablauf kennt, erkennt auch, an welchen Stellen Qualität entsteht – und wo sie verloren geht.

1. Der Benutzer stellt eine Frage.
   Beispiel: „Welche Wartungsarbeiten sind bei Anlage T-400 nach 2.000 Betriebsstunden vorgesehen?“
2. Identität und Berechtigungen werden geprüft.
   Wer stellt die Frage? Auf welche Standorte, Kunden oder Anlagen darf die Person zugreifen? Welche Dokumentenklassen sind für sie freigegeben?
3. Die Frage wird aufbereitet.
   Produktbezeichnungen, Synonyme, Abkürzungen, Dokumenttypen und gegebenenfalls frühere Gesprächsinhalte werden berücksichtigt. Aus „T-400“ wird die Baureihe, aus „Wartung“ werden die relevanten Dokumentklassen.
4. Geeignete Quellen werden gesucht.
   Eine Kombination aus semantischer Suche, Schlagwortsuche, Metadatenfiltern und Re-Ranking ermittelt die relevanten Textabschnitte – nicht die relevanten Dokumente, sondern die relevanten Stellen darin.
5. Das Sprachmodell erstellt die Antwort.
   Es erhält ausschließlich die ausgewählten Informationsausschnitte sowie die betrieblichen Antwortregeln. Was nicht mitgegeben wird, kann auch nicht zitiert werden.
6. Quellen und Vertrauenshinweise werden ausgegeben.
   Quelldokument, Kapitel oder Abschnitt, Dokumentenversion, Gültigkeitsdatum und – falls vorhanden – ein Hinweis auf Unsicherheit oder Widersprüche.
7. Feedback und Protokollierung.
   Die Nutzung kann unter Berücksichtigung von Datenschutz und Betriebsvereinbarungen für Qualitätssicherung und Verbesserung ausgewertet werden.

Zielarchitektur und Austauschbarkeit

Warum Austauschbarkeit ein Projektziel sein sollte

Der Modellmarkt bewegt sich schneller als jedes Einführungsprojekt. Modelle, die heute führend sind, können in zwölf Monaten überholt oder deutlich günstiger sein. Wer seine Architektur so baut, dass das Modell eine austauschbare Komponente bleibt, behält Verhandlungsspielraum und kann Kostenvorteile mitnehmen, ohne die Anwendung neu zu bauen.

Praktisch bedeutet das drei Dinge: Die Wissensschicht gehört Ihnen und liegt nicht ausschließlich im Index eines Anbieters. Die Prompts und Geschäftsregeln sind dokumentiert und versioniert. Und die Modellanbindung erfolgt über eine Schnittstelle, hinter der auch ein anderes Modell stehen kann.

Integration statt neuer Oberfläche

Ein häufiger Denkfehler besteht darin, das UnternehmensGPT als eigenes Portal zu planen. Jedes zusätzliche Portal konkurriert mit den Werkzeugen, die Mitarbeiter ohnehin geöffnet haben. In der Praxis ist die Einbettung in Microsoft Teams, in das Intranet oder direkt in die Fachanwendung deutlich wirksamer als eine neue Adresse, die man sich erst merken muss.

RAG, Long Context und Fine-Tuning

Für ein UnternehmensGPT stehen verschiedene technische Verfahren zur Verfügung. Sie konkurrieren nicht miteinander, sondern lösen unterschiedliche Aufgaben.

Retrieval-Augmented Generation (RAG)

RAG ist für veränderliches Unternehmenswissen meist der Ausgangspunkt. Das Sprachmodell wird dabei nicht mit allen Unternehmensdaten neu trainiert. Stattdessen sucht das System bei jeder Anfrage nach relevanten Informationen und stellt sie dem Modell für die Antwort bereit. Ändert sich ein Dokument, ändert sich die Antwort – ohne dass ein Modell angefasst werden muss.

OWASP führt RAG als einen Baustein, um Antworten mit verifizierten Informationsquellen zu verbinden und Falschinformationen zu reduzieren. Gleichzeitig weist OWASP darauf hin, dass auch RAG-Systeme eigene Risiken mitbringen: Prompt Injection über eingebettete Dokumente, manipulierte oder vergiftete Inhalte, fehlerhafte Embeddings und die Offenlegung von Informationen über den Retrieval-Weg.

Quelle: OWASP, Top 10 for LLM Applications 2025 sowie zugehörige Leitfäden zu RAG-Sicherheit. genai.owasp.org

Long Context

Hierbei werden vollständige Dokumente oder große Informationsmengen direkt an das Modell übergeben. Das ist geeignet für die Analyse eines einzelnen Vertrags, den Vergleich weniger Dokumente, die Zusammenfassung eines Projektordners oder einmalige Aufgaben mit begrenztem Datenumfang. Die Grenzen sind hohe Verarbeitungskosten, längere Antwortzeiten, irrelevante Informationen im Kontext und eingeschränkte Skalierbarkeit bei großen Beständen. Long Context ersetzt kein Retrieval – es ergänzt es für Sonderfälle.

Fine-Tuning

Beim Fine-Tuning wird ein Modell anhand zusätzlicher Beispiele angepasst. Das ist sinnvoll für festgelegte Antwortformate, Klassifikationen, firmenspezifische Textstile und wiederkehrende strukturierte Aufgaben. Es ist nicht die bevorzugte Methode für häufig geänderte Dokumente, aktuelle Preise, Projektstände oder einzelne interne Fakten. Wer Wissen in ein Modell trainiert, muss es beim nächsten Update erneut hineintrainieren – und kann es nicht gezielt wieder entfernen.

Retrieval in der Praxis: die unterschätzte Disziplin

Über die Antwortqualität entscheidet in den meisten Projekten nicht das Sprachmodell, sondern die Frage, ob die richtige Textstelle gefunden wurde. Diese Arbeit ist unspektakulär und dennoch der Kern des Systems.

Zerlegung der Dokumente (Chunking)

Dokumente werden in Abschnitte zerlegt, die einzeln durchsuchbar sind. Wird zu klein zerlegt, geht der Zusammenhang verloren – etwa wenn eine Tabellenüberschrift von den Werten getrennt wird. Wird zu groß zerlegt, gelangen zu viele irrelevante Informationen in die Antwort. In der Praxis bewährt sich eine Zerlegung entlang der logischen Struktur des Dokuments: Kapitel, Abschnitt, Prüfschritt, Position. Genau deshalb sind gut strukturierte Ausgangsdokumente ein technischer Vorteil und keine Formsache.

Hybride Suche

Semantische Suche findet inhaltlich Ähnliches, auch wenn andere Wörter verwendet wurden. Schlagwortsuche findet exakte Treffer – und die braucht man bei Artikelnummern, Fehlercodes, Positionsnummern oder Normbezeichnungen. „E-47“ ist semantisch nichts. Eine Kombination beider Verfahren ist im industriellen Umfeld fast immer die richtige Antwort.

Metadaten und Filter

Ein Filter, der nur gültige Dokumente durchsucht, verbessert die Antwortqualität stärker als jede Modellverbesserung. Nützliche Metadaten sind: Dokumenttyp, Baureihe, Kunde, Projekt, Standort, Gültigkeitsdatum, Freigabestatus, Vertraulichkeitsstufe und fachlicher Eigentümer. Diese Felder müssen nicht perfekt sein, aber sie müssen existieren.

Re-Ranking

Nach der ersten Suche wird eine überschaubare Menge an Kandidaten noch einmal genauer bewertet und umsortiert. Das kostet wenig und hebt die Trefferqualität oft deutlich – gerade bei Fragen, die mehrere Aspekte gleichzeitig enthalten.

Schlechte Quellen werden durch KI nicht besser

Ein leistungsfähiges Sprachmodell kann fehlende Dokumentenverantwortung nicht ausgleichen. Bevor Inhalte eingebunden werden, sollten Unternehmen ihre Wissensquellen bewerten.

Mindestanforderungen an eine produktiv genutzte Quelle

• fachlich geprüft
• einem Verantwortlichen zugeordnet
• mit einem Gültigkeitsstand versehen
• für einen definierten Nutzerkreis freigegeben
• maschinell lesbar – ein eingescanntes Fax ist es nur mit Zusatzaufwand
• ausreichend strukturiert
• nicht durch widersprüchliche Dubletten überlagert

Vier Quellenklassen

Checkliste und Lebenszyklus einer Wissensquelle

Prüfliste vor der Anbindung

Der Lebenszyklus, der danach beginnt

Die Anbindung einer Quelle ist kein einmaliger Vorgang. Ohne festgelegten Lebenszyklus veraltet die Wissensbasis genau so schnell wie die Ablage, die sie ablösen soll – nur dass die Antworten dann nicht mehr als „irgendwo gefunden“, sondern als „vom System bestätigt“ wahrgenommen werden. Das macht das Problem schlimmer, nicht besser.

Ein UnternehmensGPT darf Wissen nicht neu verteilen

Ein globaler Wissensindex ohne differenzierte Zugriffsrechte kann bestehende Schutzmechanismen aushebeln. Was über Jahre durch Ordnerstrukturen und Gruppenrechte getrennt war, wird durch eine einzige Suchoberfläche wieder zusammengeführt – und zwar unbemerkt, weil niemand die Absicht hatte.

Kritische Informationsarten

Empfohlenes Berechtigungsmodell

1. Bestehende Rechte übernehmen. Soweit möglich aus Microsoft Entra ID, Active Directory, SharePoint, Dokumentenmanagement, ERP- oder CRM-Systemen sowie Projekt- und Mandantenstrukturen. Ein zweites, eigenes Rechtemodell ist eine dauerhafte Fehlerquelle.
2. Rechte bei jeder Anfrage prüfen. Die Filterung darf nicht nur beim Import erfolgen. Der aktuelle Benutzerkontext muss auch bei der Suche wirken, sonst gelten Rechteänderungen erst beim nächsten Import.
3. Dokumente und Informationsausschnitte schützen. Nicht nur vollständige Dateien, auch einzelne Textabschnitte, Metadaten und Suchergebnisse können vertrauliche Informationen enthalten. Bereits der Dateiname eines Vertrags kann eine Information sein.
4. Administrationsrechte begrenzen. Technische Administratoren sollten nicht automatisch fachlichen Zugriff auf alle Inhalte erhalten. Trennen Sie Betrieb und Einsicht.
5. Exporte und Weiterverwendung kontrollieren. Zu prüfen sind das Kopieren von Antworten, das Herunterladen von Quellen, die Erstellung von Zusammenfassungen, die Übernahme in E-Mails und die Verwendung durch angebundene KI-Agenten.

Angriffsflächen, die es vorher nicht gab

Ein UnternehmensGPT verbindet ein sprachverarbeitendes System mit internen Daten. Damit entstehen Risiken, die klassische Anwendungen nicht kennen. OWASP hat sie in den Top 10 für LLM- und Generative-KI-Anwendungen systematisch beschrieben.

Quellen: OWASP, Top 10 for LLM Applications 2025 (genai.owasp.org); OECD (2025), Generative AI and the SME Workforce (oecd.org).

Governance: die Mindestbestandteile

ISO/IEC 42001 bietet hierfür einen internationalen Rahmen für Aufbau, Betrieb und fortlaufende Verbesserung eines KI-Managementsystems. Für Unternehmen, die bereits nach ISO 9001 oder ISO/IEC 27001 arbeiten, ist der Aufwand überschaubar, weil sich Strukturen und Verfahren weitgehend anlehnen lassen.

Mitbestimmung frühzeitig einbeziehen

In Unternehmen mit Betriebsrat ist die Einführung eines UnternehmensGPT regelmäßig mitbestimmungsrelevant. Sobald ein System technisch geeignet ist, Verhalten oder Leistung von Beschäftigten zu überwachen, greift nach deutschem Recht die Mitbestimmung – und ein System, das Anfragen protokolliert, ist dazu objektiv geeignet, unabhängig davon, ob eine Auswertung beabsichtigt ist.

Aus der Praxis lässt sich eine klare Empfehlung ableiten: Beziehen Sie den Betriebsrat nicht am Ende des Pilotprojekts ein, sondern bei der Auswahl des Anwendungsfalls. Eine Betriebsvereinbarung, die den Auswertungszweck begrenzt, schafft Vertrauen bei den Nutzern – und Vertrauen ist die Voraussetzung dafür, dass Mitarbeiter ehrliche Fragen stellen. Wer befürchtet, dass seine Suchanfragen bewertet werden, fragt vorsichtig. Und vorsichtige Fragen liefern schlechte Testdaten.

Nicht die Demo, sondern der Test entscheidet

Viele KI-Demonstrationen arbeiten mit wenigen vorbereiteten Fragen. Ein produktives UnternehmensGPT muss dagegen mit realen Formulierungen, unvollständigen Fragen, Abkürzungen und widersprüchlichen Quellen umgehen.

Aufbau eines Testkatalogs

Für einen Pilot sollten mindestens 50 bis 150 typische Fragen zusammengestellt werden – und zwar von Fachleuten, nicht von der IT. Der Katalog sollte enthalten:

Qualitätskennzahlen

Bewertungsmaßstab für Pilotfragen

• 2 Punkte: fachlich richtig, vollständig und nachvollziehbar belegt
• 1 Punkt: grundsätzlich nutzbar, aber unvollständig oder nachzubearbeiten
• 0 Punkte: falsch, unbelegt, irreführend oder nicht verwendbar

Klein genug zum Beherrschen, relevant genug für einen Nachweis

Ein guter Pilot ist kein unverbindlicher Testzugang. Er untersucht einen realen Arbeitsprozess mit echten Nutzern und messbaren Zielen.

Bewertungsmatrix

Bewerten Sie jeden möglichen Pilotfall je Kriterium von 0 bis 2 Punkten.

Der beste Pilot ist nicht zwingend der technisch einfachste. Er sollte einen Nutzen erzeugen, den Mitarbeiter und Geschäftsführung im Alltag wahrnehmen. Ein Pilot, über den niemand spricht, hat auch dann nichts bewiesen, wenn alle Kennzahlen stimmen.

Einführung in 90 Tagen: ein realistisches Vorgehensmodell

Technischer Service: weniger Rückfragen, schnellere Vorbereitung

Ausgangssituation

Ein technischer Dienstleister betreut Anlagen verschiedener Hersteller. Die relevanten Informationen liegen verteilt in Herstellerhandbüchern, Wartungsanweisungen, Serviceberichten, Ersatzteillisten, Kundenordnern und in den E-Mails erfahrener Techniker. Bei ungewöhnlichen Störungen kontaktieren jüngere Techniker einen erfahrenen Kollegen. Dieser wird mehrmals täglich aus laufenden Aufgaben herausgerissen.

Notwendige Kontrollen

• Sicherheitsanweisungen werden gegenüber Erfahrungsberichten priorisiert.
• Veraltete Herstellerhandbücher werden als solche gekennzeichnet.
• Kundenspezifische Informationen sind nur für berechtigte Techniker sichtbar.
• Das System darf keine sicherheitsrelevanten Grenzwerte ergänzen oder interpolieren.
• Bei widersprüchlichen Angaben erfolgt eine Eskalation an den technischen Verantwortlichen.

Bau- und Projektgeschäft: Projektwissen über die Laufzeit verfügbar machen

Ausgangssituation

Ein mittelständisches Unternehmen bearbeitet mehrere Bau- und Montageprojekte parallel. Informationen verteilen sich auf Projektlaufwerke, E-Mails, Protokolle, Pläne, Leistungsverzeichnisse und kaufmännische Systeme. Projektleiter müssen regelmäßig rekonstruieren, was beauftragt wurde, welche Änderungen vereinbart wurden, wer welche Entscheidung getroffen hat, welche Unterlagen fehlen und welche Leistungen bereits abgenommen wurden.

Pilotanwendung

Das UnternehmensGPT wird zunächst für drei laufende Projekte eingerichtet. Eingebunden werden Vertrag und Leistungsverzeichnis, freigegebene Nachträge, Baubesprechungsprotokolle, Terminpläne, Abnahme- und Mängelprotokolle, relevante Korrespondenz sowie das Projekthandbuch.

Typische Fragen

• Welche Leistungen zur Baustelleneinrichtung sind vertraglich enthalten?
• Wann wurde die geänderte Ausführung der Position 4.3 vereinbart?
• Welche Unterlagen fehlen für die Teilabnahme?
• Welche offenen Punkte wurden dem Auftraggeber zugeordnet?
• Fasse die Entscheidungen der vergangenen vier Baubesprechungen zusammen.
• Erstelle einen Entwurf für die Projektübergabe.

Der Business Case entsteht im Arbeitsprozess

Ein UnternehmensGPT sollte nicht anhand der Anzahl erzeugter Antworten bewertet werden. Entscheidend ist die Veränderung des zugrunde liegenden Prozesses.

Vereinfachte Nutzenformel

Kostenbestandteile

Akzeptanz: der Teil, den keine Software mitbringt

Ein UnternehmensGPT, das technisch funktioniert und nicht genutzt wird, ist ein gescheitertes Projekt. Diese Konstellation ist häufiger als der technische Fehlschlag.

Warum Mitarbeiter zögern

• Misstrauen gegenüber der Antwort. Wer einmal eine falsche Auskunft bekommen hat, prüft danach doppelt – und fragt beim nächsten Mal lieber gleich den Kollegen.
• Sorge vor Kontrolle. Wenn unklar ist, wer die Anfragen sieht, entstehen keine ehrlichen Fragen.
• Sorge um die eigene Rolle. Wer über Jahre der Ansprechpartner war, verliert mit dem Wissensmonopol auch einen Teil seiner Bedeutung im Unternehmen.
• Gewohnheit. Der Anruf beim Kollegen ist bekannt, schnell und sozial angenehm.

Der dritte Punkt wird selten offen ausgesprochen und ist der schwierigste. Er lässt sich nicht durch Schulung lösen, sondern nur durch Anerkennung: Wer sein Wissen einbringt, prüft und freigibt, muss dafür sichtbar zuständig sein – und nicht das Gefühl haben, sich selbst überflüssig zu machen. Die Rolle des fachlichen Quelleneigentümers ist deshalb nicht nur eine Governance-Anforderung, sondern auch ein Angebot.

Was in der Praxis hilft

1. Führungskräfte nutzen das System sichtbar selbst. Microsoft berichtet im Work Trend Index 2026, dass Beschäftigte deutlich höhere Bereitschaft zeigen, wenn Führungskräfte den Umgang mit KI vorleben und Raum zum Ausprobieren schaffen.
2. Ein klarer, sanktionsfreier Meldeweg für falsche Antworten. Fehler, die gemeldet werden, sind Verbesserungen. Fehler, die verschwiegen werden, sind Risiken.
3. Erfolge aus dem eigenen Haus zeigen. Eine echte Frage aus dem eigenen Bereich überzeugt stärker als jede Herstellerdemonstration.
4. Ehrlich über Grenzen sprechen. Wer verspricht, das System liege immer richtig, verliert beim ersten Fehler die gesamte Glaubwürdigkeit.
5. Schulung auf Urteilsfähigkeit ausrichten. Nicht Prompt-Tricks, sondern: Wann verlasse ich mich auf die Antwort? Woran erkenne ich, dass ich prüfen muss? Wann eskaliere ich?

Quelle: Microsoft, Work Trend Index Annual Report 2026, einschließlich einer begleitenden Befragung von 1.800 Beschäftigten weltweit. microsoft.com/worklab

Cloud, Private Cloud oder lokaler Betrieb?

Es gibt nicht die eine richtige Betriebsform. Es gibt nur die Betriebsform, die zu Ihrem Schutzbedarf, Ihrer Nutzerzahl und Ihrer Betriebsfähigkeit passt.

Entscheidungsmatrix

Für Unternehmen mit hohem Anspruch an Datenhoheit ist die Kombination aus europäischer Verarbeitung, vertraglich ausgeschlossener Trainingsnutzung und dokumentierten Löschregeln in der Regel wichtiger als die Frage, ob der Server im eigenen Keller steht.

Fragen, die vor einer Beauftragung beantwortet sein sollten

Warum UnternehmensGPT-Projekte scheitern

1. Mit dem Modell statt mit dem Geschäftsproblem beginnen. Das leistungsfähigste Modell erzeugt keinen Nutzen, wenn der Arbeitsprozess nicht definiert ist.
2. Alle verfügbaren Dokumente ungeprüft importieren. Mehr Dokumente bedeuten nicht bessere Antworten. Dubletten, Entwürfe und veraltete Versionen verschlechtern das Ergebnis messbar.
3. Berechtigungen erst nach dem Pilot berücksichtigen. Ein Prototyp ohne tragfähiges Zugriffsmodell lässt sich häufig nicht in den Betrieb überführen – und muss dann neu gebaut werden.
4. Nur technische Mitarbeiter testen lassen. Die fachliche Qualität kann ausschließlich von Mitarbeitern bewertet werden, die den Prozess und die Quellen kennen.
5. Erfolg über Nutzerzahlen messen. Viele Anmeldungen sagen wenig über den geschäftlichen Nutzen aus. Entscheidend ist die Wiederkehrquote im vorgesehenen Prozess.
6. Keine nicht beantwortbaren Fragen testen. Ein System muss nachweisen, dass es bei fehlender Grundlage kontrolliert reagiert – nicht nur, dass es bei guten Fragen gut antwortet.
7. Quellenverantwortung nicht regeln. Ohne benannte Verantwortliche veralten Inhalte, und widersprüchliche Dokumente bleiben bestehen. Das System wird dann mit der Zeit schlechter, nicht besser.
8. Den Pilot nicht auf den Betrieb vorbereiten. Bereits im Pilot müssen Support, Monitoring, Kosten, Änderungen und Verantwortlichkeiten mitgedacht werden.
9. Ein UnternehmensGPT als Ersatz für Fachsysteme betrachten. Es ergänzt ERP, CRM, DMS und Fachanwendungen. Es ersetzt weder deren strukturierte Prozesse noch deren führende Datenbestände.
10. Zu früh Aktionen automatisieren. Bevor das System E-Mails versendet, Vorgänge verändert oder Entscheidungen vorbereitet, muss die Wissens- und Antwortqualität nachgewiesen sein.

Vom Wissensbestand zum produktiven UnternehmensGPT

Unternehmen sollten ein UnternehmensGPT nicht als groß angelegtes Technologieprogramm beginnen. Ein belastbarer Einstieg besteht aus fünf Schritten.

1. Geschäftsprozess auswählen. Einen Bereich bestimmen, in dem wiederkehrende Wissensfragen messbaren Aufwand verursachen.
2. Wissensquellen prüfen. Relevante Dokumente, Systeme, Verantwortlichkeiten und Zugriffsrechte erfassen und klassifizieren.
3. Testfragen aufbauen. Reale Fragen, Sonderfälle und bewusst nicht beantwortbare Fragen dokumentieren – gemeinsam mit dem Fachbereich.
4. Begrenzten Pilot durchführen. Mit einer definierten Nutzergruppe und kontrollierten Quellen starten.
5. Auf Grundlage von Messwerten entscheiden. Qualität, Nutzen, Akzeptanz, Risiken und Betriebskosten gemeinsam bewerten.

UnternehmensGPT-Erstcheck

Ein strukturierter Erstcheck sollte mindestens folgende Ergebnisse liefern:

Schlussgedanke

Der Wert eines UnternehmensGPT liegt nicht darin, dass Mitarbeiter mit einer KI sprechen können. Der Wert entsteht, wenn relevantes Unternehmenswissen im richtigen Arbeitsmoment verfügbar ist, aus freigegebenen Quellen stammt, bestehende Zugriffsrechte respektiert, nachvollziehbar belegt wird und regelmäßig geprüft und verbessert wird.

Unternehmen, die diese Grundlagen schaffen, bauen nicht nur einen internen Chatbot. Sie schaffen eine wiederverwendbare Wissensbasis für Assistenzsysteme, KI-Mitarbeiter und zukünftige digitale Geschäftsprozesse. Diese Basis überdauert jeden Modellwechsel – und sie ist der Teil, den kein Wettbewerber kopieren kann.

Quellen und weiterführende Orientierung

Marktentwicklung und Nutzung

• Eurostat: Use of artificial intelligence in enterprises, Datenstand 2025, veröffentlicht Dezember 2025. ec.europa.eu/eurostat
• Bitkom e. V.: Digitalisierung der Wirtschaft – Fast jedes Unternehmen beschäftigt sich mit KI, Presseinformation vom 11. März 2026 (Befragung von 604 Unternehmen ab 20 Beschäftigten). bitkom.org
• Bitkom e. V.: Durchbruch bei Künstlicher Intelligenz, Presseinformation vom 15. September 2025. bitkom.org
• Bitkom e. V.: Künstliche Intelligenz in Deutschland – Studienbericht 2026. bitkom.org
• OECD (2025): Generative AI and the SME Workforce – New Survey Evidence, OECD Publishing, Paris. oecd.org
• OECD (2025): AI Adoption by Small and Medium-sized Enterprises, OECD Publishing, Paris. oecd.org
• Microsoft: Work Trend Index Annual Report 2025 – The Frontier Firm is born, April 2025. microsoft.com/worklab
• Microsoft: Work Trend Index Annual Report 2026 – Agents, human agency and the opportunity for every organization, Mai 2026. microsoft.com/worklab
• Atlassian: State of Teams 2025, März 2025. atlassian.com

Regulierung und Governance

• Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates (KI-Verordnung / AI Act). eur-lex.europa.eu
• Europäische Kommission: Digital Omnibus on AI, Vorschlag vom 19. November 2025; politische Einigung Mai 2026; Annahme durch das Europäische Parlament am 16. Juni 2026 und den Rat der EU am 29. Juni 2026. digital-strategy.ec.europa.eu
• Europäische Kommission: AI Literacy – Questions & Answers (Artikel 4 AI Act). digital-strategy.ec.europa.eu
• Europäische Kommission: Transparenzpflichten nach Artikel 50 AI Act. digital-strategy.ec.europa.eu
• ISO/IEC 42001:2023 – Information technology, Artificial intelligence, Management system. iso.org
• NIST: Artificial Intelligence Risk Management Framework – Generative AI Profile (NIST AI 600-1). nist.gov

Sicherheit und technische Risiken

• OWASP: Top 10 Risks for LLM and Generative AI Applications 2025. genai.owasp.org
• OWASP: Leitfäden zu Prompt Injection in RAG-Anwendungen. genai.owasp.org
• OWASP: Misinformation und Maßnahmen zur Quellenanbindung. genai.owasp.org
• Bundesamt für Sicherheit in der Informationstechnik (BSI): Generative KI-Modelle – Chancen und Risiken für Industrie und Behörden. bsi.bund.de

Stand aller Angaben: Juli 2026. Der regulatorische Rahmen entwickelt sich fortlaufend. Prüfen Sie vor einer Entscheidung den jeweils aktuellen konsolidierten Rechtstext.