RAG für KMU bedeutet: Die KI antwortet nicht nur aus allgemeinem Trainingswissen, sondern sucht zuerst passende Unternehmensquellen. Danach erzeugt ein Sprachmodell daraus eine verständliche Antwort. Entscheidend sind nicht nur gute Prompts, sondern saubere Quellen, Chunking, Metadaten, Rechteprüfung und Antwortkontrolle.
Warum ist RAG mehr als „ChatGPT mit Dokumenten“?
Viele Unternehmen stellen sich RAG zunächst sehr einfach vor: Man lädt Dokumente hoch, fragt die KI etwas, und die KI antwortet aus diesen Dokumenten. Für einen ersten Test kann das stimmen. Für ein ernsthaftes Company Brain reicht diese Vorstellung aber nicht aus.
Retrieval-Augmented Generation, kurz RAG, verbindet ein Sprachmodell mit externen Wissensquellen. Das System sucht zuerst relevante Inhalte und gibt diese dann als Kontext an das Sprachmodell weiter. Erst daraus entsteht die Antwort. IBM beschreibt RAG genau in diesem Sinne als Architektur, bei der ein Modell vor der Antwort mit externen Informationen versorgt wird, damit Antworten aktueller und besser begründet werden können. Microsoft erklärt RAG ebenfalls als Verfahren, bei dem relevante Daten abgerufen und dann zur Generierung einer Antwort genutzt werden.
Der kritische Punkt liegt dabei nicht im Sprachmodell allein. Das Modell formuliert. Aber es kann nur sinnvoll antworten, wenn vorher die richtigen Informationen gefunden wurden. Für ein Company Brain bedeutet das: Die Qualität der Wissensbasis entscheidet über die Qualität der Antwort. Wenn Quellen veraltet, falsch geschnitten, schlecht beschrieben oder für den Nutzer eigentlich nicht freigegeben sind, wird auch die Antwort problematisch.
Wie funktioniert RAG technisch in einfachen Worten?
RAG besteht grob aus zwei Bewegungen. Zuerst sucht das System. Danach formuliert es.
Im ersten Schritt wird die Frage des Nutzers analysiert. Das System sucht passende Textstellen, Dokumente, Tabellen, Tickets, Protokolle, Angebote, Checklisten oder andere Wissensbausteine. Häufig geschieht das über semantische Suche. Die Frage wird nicht nur nach exakten Begriffen gesucht, sondern nach Bedeutung. Wenn ein Mitarbeiter „Was war beim letzten Notdienst an Anlage Müller?“ fragt, kann das System auch Dokumente finden, in denen „Störungseinsatz“, „Wartung“, „Fehlercode“ oder „Austausch Pumpe“ steht.
Im zweiten Schritt erhält das Sprachmodell die gefundenen Inhalte als Kontext. Es soll daraus eine Antwort erstellen, idealerweise mit Quellenangabe, Unsicherheitshinweis und klarer Abgrenzung. Das System sollte also nicht einfach irgendetwas aus dem Modellwissen ergänzen, sondern vorrangig aus freigegebenem Unternehmenswissen antworten.
Das klingt einfach. In der Praxis entscheidet aber die Umsetzung: Welche Inhalte werden indexiert? Wie werden Dokumente zerlegt? Welche Metadaten werden gespeichert? Welche Nutzer dürfen welche Inhalte sehen? Wie wird geprüft, ob eine Antwort wirklich auf den gefundenen Quellen basiert?
Warum ist die Datenqualität wichtiger als das Sprachmodell?
Ein leistungsfähiges Sprachmodell kann schlecht strukturierte Unternehmensdaten nicht automatisch retten. Wenn Angebote, Tickets, Protokolle, PDF-Dateien, Fotos, E-Mails und Wikiseiten ungeordnet sind, entsteht keine belastbare Wissensbasis. Dann wirkt die KI zwar sprachlich stark, aber fachlich unsicher.
McKinsey beschreibt in der State of AI Global Survey 2025, dass AI-High-Performer nicht nur Modelle einsetzen, sondern stärker mit Managementpraktiken, Daten, Governance, Validierung und Skalierung arbeiten. Besonders relevant ist, dass erfolgreiche Organisationen eher definierte Prozesse einsetzen, um zu entscheiden, wann Modellergebnisse menschlich validiert werden müssen.
Für den Mittelstand ist diese Aussage wichtig. Ein Company Brain ist kein Zauberknopf. Es ist ein Wissenssystem. Es braucht gepflegte Quellen, klare Verantwortlichkeiten und realistische Grenzen. Sonst entsteht nur eine schön formulierende Suchmaschine, der niemand dauerhaft vertraut.
Welche Rolle spielt Chunking bei RAG?
Chunking bedeutet, dass lange Dokumente in kleinere Abschnitte zerlegt werden. Das ist notwendig, weil ein RAG-System selten ein komplettes Handbuch, eine ganze PDF-Sammlung oder ein vollständiges Ticketsystem in eine einzelne Antwort packt. Es sucht nach passenden Ausschnitten.
Schlechtes Chunking ist einer der häufigsten Gründe für schwache RAG-Ergebnisse. Wenn Abschnitte zu groß sind, findet das System zwar viel Text, aber zu wenig Präzision. Wenn Abschnitte zu klein sind, fehlt der Zusammenhang. Ein Satz aus einer Arbeitsanweisung kann ohne Überschrift, Gültigkeitsdatum und Prozesskontext irreführend sein.
Für ein Company Brain im Mittelstand heißt das: Inhalte müssen so geschnitten werden, dass sie fachlich Sinn ergeben. Eine Wartungsanweisung, ein Angebotsbaustein, eine Reklamationsregel oder ein Prozessschritt darf nicht willkürlich zerteilt werden. Gute Chunks enthalten den relevanten Inhalt und genug Kontext, damit das Sprachmodell nicht raten muss.
Warum sind Metadaten im Company Brain so wichtig?
Metadaten sind Zusatzinformationen über einen Wissensbaustein. Dazu gehören zum Beispiel Dokumenttyp, Quelle, Version, Freigabestatus, Gültigkeitsdatum, Abteilung, Kunde, Objekt, Projekt, Gewerk, Sprache, Vertraulichkeit und Verantwortlicher.
Ohne Metadaten sucht das System nur nach Ähnlichkeit. Mit Metadaten kann es gezielter und sicherer arbeiten. Ein Monteur sollte andere Inhalte sehen als ein Vertriebsmitarbeiter. Eine alte Checkliste sollte nicht dieselbe Bedeutung haben wie eine freigegebene aktuelle Arbeitsanweisung. Ein Entwurf sollte nicht Grundlage für verbindliche Antworten werden.
NIST weist im Generative AI Profile zum AI Risk Management Framework ausdrücklich darauf hin, dass Organisationen dokumentieren sollten, wie generative KI-Systeme auf vorgelagerte Datenquellen angewiesen sind, etwa bei Grounding und Retrieval-Augmented Generation. Dazu gehören Provenienz, Datenquellen und Abhängigkeiten.
Metadaten machen RAG deshalb nicht komplizierter, sondern sicherer. Sie helfen dem Company Brain zu verstehen, welches Wissen wann, für wen und in welchem Kontext verwendet werden darf.
Wie unterscheidet sich einfaches Dokumenten-Chatten von einem Company Brain mit RAG?
| Ansatz | Typische Umsetzung | Hauptproblem | Bessere Umsetzung im Company Brain |
|---|---|---|---|
| Einfacher Dokumenten-Chat | PDF hochladen und Fragen stellen | Keine dauerhafte Wissensstruktur | Quellen werden strukturiert, versioniert und wiederverwendbar gemacht |
| Allgemeiner KI-Assistent | Antwort aus Modellwissen und Prompt | Unklare Grundlage | Antwort wird auf freigegebenes Unternehmenswissen begrenzt |
| Klassische Suche | Nutzer sucht Datei oder Begriff | Nutzer muss selbst interpretieren | System findet relevante Inhalte und erklärt sie verständlich |
| RAG ohne Governance | Semantische Suche über viele Dokumente | Falsche, alte oder unberechtigte Quellen möglich | Rechte, Metadaten, Freigaben und Aktualität werden geprüft |
| Company Brain mit RAG | Kontrollierter Zugriff auf Wissensbausteine | Höherer Aufbauaufwand | Bessere Nachvollziehbarkeit, Wiederverwendung und Skalierbarkeit |
Warum ist Rechteprüfung bei RAG unverzichtbar?
Ein RAG-System darf nicht einfach alles finden, was technisch vorhanden ist. Es muss berücksichtigen, wer fragt. Sonst kann ein interner Assistent vertrauliche Informationen preisgeben, etwa Gehälter, Vertragsdetails, Beschwerden, Kundendaten, Kalkulationen oder interne Strategieunterlagen.
Die Rechteprüfung muss vor der Antwort greifen. Das System sollte nur Inhalte abrufen, die für den jeweiligen Nutzer oder die jeweilige Rolle freigegeben sind. Das betrifft nicht nur Datenschutz, sondern auch Betriebsgeheimnisse und organisatorische Zuständigkeiten.
Für ein Company Brain ist das besonders relevant, weil es Wissen aus mehreren Systemen zusammenführt. Was in SharePoint, CRM, Ticketsystem, Dateiablage oder Projektmanagement getrennt berechtigt war, darf durch RAG nicht plötzlich für alle sichtbar werden. Ein gutes Company Brain übernimmt oder spiegelt Berechtigungen und ergänzt sie um fachliche Regeln.
Warum braucht RAG Antwortkontrolle?
RAG reduziert Halluzinationen, beseitigt sie aber nicht vollständig. Das Sprachmodell kann Quellen falsch zusammenfassen, Lücken überbrücken, veraltete Inhalte zu stark gewichten oder unsichere Aussagen zu klar formulieren. Deshalb braucht ein Company Brain Antwortkontrolle.
Antwortkontrolle bedeutet: Das System sollte anzeigen, welche Quellen verwendet wurden, wie sicher die Antwort ist und wo keine ausreichende Grundlage vorhanden ist. Bei kritischen Themen sollte es lieber sagen: „Dazu liegt keine freigegebene Quelle vor“, statt eine plausible Antwort zu erzeugen.
Für KMU ist das praktisch wichtiger als technische Perfektion. Ein Geschäftsführer, Projektleiter oder Servicemitarbeiter braucht keine KI, die immer souverän klingt. Er braucht ein System, das nützlich ist, aber seine Grenzen kennt.
Welche Kennzahlen zeigen, warum RAG für Unternehmen relevant wird?
- McKinsey berichtet 2025, dass 88 Prozent der Organisationen KI in mindestens einer Geschäftsfunktion einsetzen.
Quelle: McKinsey, The State of AI: Global Survey 2025
URL: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai - McKinsey berichtet außerdem, dass nur 39 Prozent der Organisationen einen EBIT-Effekt durch KI auf Unternehmensebene sehen.
Quelle: McKinsey, The State of AI: Global Survey 2025
URL: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai - Laut IBM Cost of a Data Breach Report 2025 betrugen die durchschnittlichen globalen Kosten einer Datenschutzverletzung 4,44 Millionen US-Dollar.
Quelle: IBM
URL: https://www.ibm.com/reports/data-breach - Der EU AI Act ist seit 1. August 2024 in Kraft; viele Pflichten gelten gestaffelt ab 2025, 2026 und später.
Quelle: Europäische Kommission
URL: https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
Warum ist RAG gerade für KMU interessant?
KMU haben selten perfekte Datenlandschaften. Wissen liegt in E-Mails, Dateiablagen, Tickets, Angeboten, Excel-Listen, ERP-Systemen, Fotos, Protokollen und Köpfen. Genau deshalb ist RAG interessant. Es kann vorhandenes Wissen nutzbar machen, ohne dass zuerst jedes System ersetzt werden muss.
Aber der Einstieg muss sauber erfolgen. Wer einfach alle Dokumente einliest, bekommt keine verlässliche Unternehmens-KI. Sinnvoller ist ein begrenzter Start: häufige Servicefragen, Angebotswissen, interne Checklisten, technische Dokumentation, Kundenbesonderheiten oder wiederkehrende Fälle.
Ein Company Brain mit RAG wird dann nicht als allgemeiner Chatbot verstanden, sondern als kontrollierter Zugriff auf freigegebenes Unternehmenswissen. Das ist der entscheidende Unterschied.
Wie kann ein Mittelständler mit RAG starten?
Der erste Schritt ist nicht die Auswahl des Modells. Der erste Schritt ist die Auswahl des Wissensbereichs. Ein guter Startbereich hat wiederkehrende Fragen, klare Quellen und messbaren Nutzen. Beispiele sind Supportfälle, Wartungswissen, Angebotsbausteine, interne SOPs oder Projektabschlussberichte.
Danach werden Quellen bereinigt, Dubletten entfernt, Verantwortliche benannt, Berechtigungen geprüft und Metadaten definiert. Erst dann lohnt sich die technische Umsetzung mit Indexierung, Vektorsuche, Retrieval, Sprachmodell und Antwortkontrolle.
So bleibt RAG beherrschbar. Der Mittelstand braucht nicht sofort eine große KI-Plattform. Er braucht einen sauberen, kontrollierten Anwendungsfall, der Vertrauen aufbaut.
Interessante Links
IBM: What is retrieval-augmented generation?
https://www.ibm.com/think/topics/retrieval-augmented-generation
Microsoft Azure: Retrieval Augmented Generation in Azure AI Search
https://learn.microsoft.com/en-us/azure/search/retrieval-augmented-generation-overview
NIST: AI Risk Management Framework Generative AI Profile
https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf
Was ist RAG einfach erklärt?
RAG steht für Retrieval-Augmented Generation. Das System sucht zuerst relevante Inhalte aus einer Wissensbasis und nutzt diese anschließend als Kontext für ein Sprachmodell. Dadurch antwortet die KI nicht nur aus allgemeinem Trainingswissen, sondern auf Basis eigener Unternehmensdaten. Entscheidend ist, dass die gefundenen Quellen aktuell, freigegeben und fachlich passend sind.
Warum ist RAG für KMU relevant?
RAG für KMU ist relevant, weil mittelständische Unternehmen viel Wissen besitzen, das schlecht auffindbar ist. Angebote, Servicefälle, Checklisten, Protokolle und Dokumente liegen oft verteilt in verschiedenen Systemen. RAG kann dieses Wissen zugänglich machen, ohne sofort alle bestehenden Tools zu ersetzen. Der Nutzen hängt aber stark von Datenqualität und Governance ab.
Was ist der Unterschied zwischen RAG und einem normalen Chatbot?
Ein normaler Chatbot antwortet häufig aus allgemeinem Modellwissen oder fest programmierten Dialogen. Ein RAG-System sucht vor der Antwort passende Unternehmensquellen. Dadurch kann es aktueller, konkreter und besser überprüfbar antworten. Für ein Company Brain ist dieser Unterschied zentral, weil interne Antworten auf freigegebenem Wissen beruhen sollten.
Warum ist Chunking bei RAG wichtig?
Chunking bestimmt, wie Dokumente in kleinere Wissensabschnitte zerlegt werden. Sind die Abschnitte zu groß, wird die Suche ungenau. Sind sie zu klein, fehlt der Zusammenhang. Gutes Chunking sorgt dafür, dass relevante Inhalte mit ausreichend Kontext gefunden werden. Dadurch kann das Sprachmodell genauer und weniger spekulativ antworten.
Welche Rolle spielen Metadaten bei RAG?
Metadaten beschreiben Wissensbausteine mit Zusatzinformationen wie Quelle, Version, Freigabestatus, Abteilung, Kunde, Gültigkeit oder Vertraulichkeit. Sie helfen dem System, passende und erlaubte Inhalte zu finden. Ohne Metadaten kann RAG zwar ähnliche Texte suchen, aber schwer unterscheiden, ob ein Inhalt aktuell, verbindlich oder für den Nutzer freigegeben ist.
Warum braucht RAG eine Rechteprüfung?
RAG braucht Rechteprüfung, weil ein System sonst vertrauliche Informationen aus verschiedenen Quellen zusammenführen und ungewollt offenlegen könnte. Nutzer dürfen nur Inhalte abrufen, die zu ihrer Rolle passen. Besonders bei Kundendaten, Verträgen, Personalinformationen, Kalkulationen und internen Strategien ist eine Zugriffskontrolle vor der Antwort unverzichtbar.
Kann RAG Halluzinationen verhindern?
RAG kann Halluzinationen reduzieren, aber nicht vollständig ausschließen. Das System liefert dem Sprachmodell relevante Quellen, wodurch Antworten besser geerdet werden. Trotzdem kann das Modell Inhalte falsch gewichten oder Lücken überbrücken. Deshalb braucht ein Company Brain Quellenangaben, Unsicherheitshinweise, Antwortkontrolle und klare Regeln für verbindliche Aussagen.
Welche Daten eignen sich für ein Company Brain mit RAG?
Geeignet sind Daten, die häufig gesucht werden und operativen Nutzen haben. Dazu gehören Arbeitsanweisungen, Checklisten, Servicefälle, Angebotsbausteine, technische Dokumentation, Projektwissen, Kundenbesonderheiten, Wartungshistorien und interne Standards. Weniger geeignet sind ungeprüfte Dokumentenablagen ohne Struktur, alte Dubletten oder Inhalte ohne Verantwortlichen.
