KI-Suche im Unternehmen liefert oft schlechte Antworten, weil nicht das Sprachmodell das Hauptproblem ist, sondern die Wissensbasis davor. Schlechte Dokumentzerlegung, fehlende Metadaten, Dubletten und veraltete Quellen führen dazu, dass die KI den falschen Kontext bekommt. Ein PDF-Ordner plus Chatbot ist deshalb noch kein verlässliches Wissenssystem.

Warum klingt KI-Suche oft besser, als sie tatsächlich ist?

Viele Unternehmen testen KI-Suche mit einem einfachen Versprechen: „Wir laden unsere PDFs hoch, schließen einen Chatbot an und fragen dann alles ab.“ In einer Demo funktioniert das manchmal beeindruckend. Ein Mitarbeiter fragt nach einer Richtlinie, der Chatbot antwortet in ganzen Sätzen, nennt scheinbar passende Stellen und wirkt souverän.

Im Alltag wird es schwieriger.

Die Antwort ist plötzlich unvollständig. Eine alte Version wird bevorzugt. Ein Sonderfall fehlt. Die KI zieht einen Absatz aus dem falschen Dokument. Eine Tabelle wurde beim Einlesen zerstört. Ein Dateiname enthält wichtige Information, wird aber nicht als Metadatum übernommen. Zwei fast gleiche Dokumente widersprechen sich. Der Chatbot antwortet trotzdem flüssig.

Das Problem liegt dann selten nur am Modell. Es liegt oft daran, dass die Suche dem Modell den falschen oder unvollständigen Kontext liefert. Genau dort beginnt der technische Kern von RAG: Retrieval-Augmented Generation.

Was ist RAG eigentlich und warum reicht es allein nicht aus?

RAG verbindet ein Sprachmodell mit externem Wissen. Statt nur aus Trainingsdaten zu antworten, sucht das System zuerst passende Inhalte aus Dokumenten, Datenbanken oder Wissensquellen. Diese Treffer werden dem Modell als Kontext mitgegeben. Danach formuliert das Modell daraus eine Antwort.

Das klingt sauber. In der Praxis ist RAG aber nur so gut wie die vorgelagerte Daten- und Suchpipeline. Wenn die falschen Textstücke gefunden werden, kann das Modell keine gute Antwort geben. Wenn wichtige Metadaten fehlen, kann es Aktualität oder Gültigkeit nicht prüfen. Wenn Dubletten im Index liegen, werden falsche Inhalte möglicherweise mehrfach bestätigt. Wenn PDFs schlecht geparst werden, fehlen Tabellen, Überschriften oder Fußnoten.

Die Folge: Die KI wirkt intelligent, arbeitet aber auf einem schwachen Fundament.

Pinecone beschreibt RAG als Ansatz, um Modelle mit externem Wissen zu verbinden und Halluzinationen zu reduzieren. Gleichzeitig bleibt der entscheidende Punkt: Der Nutzen entsteht nur, wenn relevante Inhalte zuverlässig gefunden werden. Quelle: https://www.pinecone.io/learn/retrieval-augmented-generation/

Warum ist Chunking so entscheidend?

Chunking bedeutet, Dokumente in kleinere Textstücke zu zerlegen. Diese Chunks werden dann in Embeddings umgewandelt und in einer Vektordatenbank oder Suchinfrastruktur gespeichert.

Das klingt wie ein technisches Detail. In Wirklichkeit entscheidet Chunking darüber, was die KI später überhaupt finden kann.

Wenn Chunks zu groß sind, enthalten sie zu viele Themen gleichzeitig. Die Suche findet dann vielleicht den richtigen Bereich, aber nicht die präzise Antwort. Wenn Chunks zu klein sind, fehlt Kontext. Ein einzelner Absatz kann dann zwar semantisch ähnlich sein, aber ohne Überschrift, Tabelle oder vorherige Definition unverständlich bleiben.

Pinecone beschreibt die zentrale Abwägung: Chunks müssen groß genug sein, um sinnvolle Information zu enthalten, aber klein genug, damit Anwendungen performant und präzise bleiben. Quelle: https://www.pinecone.io/learn/chunking-strategies/

Ein typischer Fehler im Unternehmen ist starres Chunking nach Zeichenanzahl. Aus jedem Dokument werden beispielsweise Blöcke mit 800 Zeichen erzeugt. Das funktioniert bei einfachen Texten manchmal. Bei Verträgen, Angeboten, Prozesshandbüchern, Tabellen, technischen Dokumentationen und Richtlinien zerstört es häufig die Struktur.

Dann wird aus einem Prozessschritt ein halber Satz. Aus einer Ausnahme wird ein isolierter Absatz. Aus einer Tabelle wird ein unbrauchbarer Textblock. Und aus einem PDF wird eine Sammlung von Fragmenten.

Warum sind Embeddings nicht magisch?

Embeddings übersetzen Text in mathematische Vektoren. Texte mit ähnlicher Bedeutung liegen im Vektorraum näher beieinander. Dadurch kann eine KI-Suche semantisch suchen, also nicht nur nach exakten Wörtern, sondern nach Bedeutung.

Das ist stark. Aber es ist nicht magisch.

Ein Embedding weiß nicht automatisch, ob ein Dokument aktuell ist. Es kennt keine interne Freigabekette. Es erkennt nicht zuverlässig, ob ein Absatz aus einer alten Vorlage stammt. Es weiß nicht, ob ein Kundenvertrag Vorrang vor einer Standardregel hat. Es kann Begriffe ähnlich finden, aber nicht automatisch Unternehmenslogik verstehen.

Ein Beispiel: Die Frage lautet: „Welche Freigabe brauche ich für einen Sonderrabatt?“ Die semantische Suche findet vielleicht Chunks zu Preisfreigaben, Rabattregeln, Vertriebsrichtlinien und alten Sonderangeboten. Aber ohne Metadaten wie Version, Gültigkeit, Prozess, Rolle, Kunde und Freigabestatus bleibt unklar, welcher Treffer maßgeblich ist.

Embeddings helfen beim Finden. Sie ersetzen keine Wissensarchitektur.

Warum sind Metadaten oft wichtiger als das Modell?

Metadaten sind strukturierte Zusatzinformationen zu einem Wissensobjekt. Sie beantworten Fragen, die im Text selbst oft nicht zuverlässig enthalten sind.

Dazu gehören zum Beispiel Dokumenttyp, Version, Erstellungsdatum, Gültigkeitsdatum, Abteilung, Kunde, Prozess, Rolle, Quelle, Eigentümer, Freigabestatus, Vertraulichkeitsstufe, Sprache und Aktualitätsstatus.

Ohne Metadaten ist KI-Suche blind für viele operative Unterschiede.

Ein altes PDF und eine aktuelle Richtlinie sehen semantisch ähnlich aus. Ein Entwurf und ein freigegebenes Dokument können fast identisch formuliert sein. Eine allgemeine Prozessbeschreibung und eine kundenspezifische Ausnahme enthalten ähnliche Begriffe. Der Unterschied liegt oft nicht im Text, sondern im Kontext.

Qdrant erklärt in seinen Chunking-Unterlagen, dass Metadaten die Suche verbessern, weil sie Filter, Struktur und Kontext liefern. Quelle: https://qdrant.tech/course/essentials/day-1/chunking-strategies/

Für Unternehmen bedeutet das: Wer nur Dokumente einliest, aber keine Metadaten pflegt, baut keine belastbare KI-Suche. Er baut eine semantische Volltextsuche mit freundlicher Antwortoberfläche.

Welche Fehler machen Unternehmen bei RAG-Projekten besonders häufig?

Diese Fehler sind nicht exotisch. Sie entstehen fast automatisch, wenn ein Unternehmen einen Dateiordner indexiert und zu früh glaubt, damit sei das Wissensproblem gelöst.

Welche Kennzahlen zeigen, wie relevant das Problem ist?

Gartner beschreibt Enterprise AI Search als Schlüsseltechnologie für KI-Assistenten und KI-Agenten, die Informationen über Unternehmensquellen hinweg abrufen und synthetisieren. Der Markt entwickelt sich laut Gartner von klassischer Informationssuche in Richtung Wissenssynthese. Das ist wichtig, weil schlechte Datenqualität und fragmentierte Informationen dann nicht mehr nur Suchprobleme sind, sondern direkt die Antwortqualität von KI-Systemen beeinflussen. Quelle: https://www.gartner.com/en/documents/6952766

Gartner veröffentlichte 2025 außerdem einen Magic Quadrant zu Augmented Data Quality Solutions und beschreibt dort, dass KI und GenAI vertrauenswürdige, KI-fähige Daten benötigen. Der Kern ist für RAG-Projekte direkt relevant: Ohne Datenqualität gibt es keine verlässliche KI-Anwendung. Quelle: https://www.gartner.com/en/documents/6246519

Eine systematische Review zu RAG aus 2025 kommt zu dem Punkt, dass RAG stark von Retrieval-Qualität abhängt und falsche oder irrelevante Treffer zu fehlerhaften Antworten führen können. Die Autoren beschreiben außerdem Probleme durch widersprüchliche Textpassagen und zusätzliche Latenz bei mehreren Quellen. Quelle: https://arxiv.org/html/2507.18910v1

Postman berichtete im State of the API Report 2025, dass 43 Prozent der vollständig API-first arbeitenden Organisationen mehr als 25 Prozent ihres Gesamtumsatzes über APIs erzielen. Für RAG und Company Brain ist das relevant, weil Wissenssysteme künftig nicht nur in Chatfenstern leben, sondern per API in CRM, Ticketsysteme, Portale und Agenten eingebunden werden müssen. Quelle: https://www.postman.com/state-of-api/2025/

Warum ist ein PDF-Ordner plus Chatbot kein Company Brain?

Ein PDF-Ordner ist eine Ablage. Ein Chatbot ist eine Oberfläche. Zusammen ergeben sie noch kein verlässliches Unternehmenswissen.

Dafür fehlt zu viel: Dokumentqualität, Versionierung, Metadaten, Quellenprüfung, Verantwortlichkeiten, Rechtekonzept, Aktualitätslogik, Dublettenbereinigung, Evaluierung und Prozessbezug.

Ein Company Brain muss mehr leisten. Es muss wissen, welche Inhalte aktuell sind. Es muss unterscheiden, ob ein Dokument eine Regel, ein Entwurf, eine Vorlage, eine Ausnahme oder eine Historie ist. Es muss Quellen nachvollziehbar machen. Es muss Antworten begrenzen, wenn die Wissenslage unsicher ist. Es muss sagen können: „Dazu gibt es keinen geprüften Stand.“

Gerade diese Fähigkeit ist wichtig. Eine KI-Suche, die immer antwortet, ist nicht automatisch gut. Eine KI-Suche, die Unsicherheit erkennt und sauber eskaliert, ist für Unternehmen oft wertvoller.

Warum zerstören Dubletten die Antwortqualität?

Dubletten wirken harmlos. Ein Dokument liegt zweimal im Ordner. Eine alte Vorlage wurde kopiert. Ein Angebot wurde als Version 2, final, final_neu und final_wirklich gespeichert. Ein Prozesshandbuch existiert in mehreren Sprachen, aber nicht in gleicher Aktualität.

Für klassische Dateiablage ist das ärgerlich. Für RAG ist es gefährlich.

Wenn gleiche oder ähnliche Inhalte mehrfach im Index liegen, können sie die Suche verzerren. Ein veralteter Inhalt taucht häufiger auf, weil er in mehreren Kopien existiert. Die KI erhält dann mehrere ähnliche Textstellen und behandelt sie möglicherweise als starke Evidenz. Das ist besonders kritisch, wenn neue und alte Regeln nebeneinander liegen.

Dublettenbereinigung ist deshalb keine kosmetische Aufräumarbeit. Sie ist ein Qualitätsbaustein für KI-Suche.

Warum ist Aktualität schwieriger als viele denken?

Viele Dokumente haben kein klares Ablaufdatum. Ein PDF wurde vor drei Jahren erstellt, aber ist vielleicht noch gültig. Eine Prozessbeschreibung wurde gestern geändert, aber nur wegen eines Tippfehlers. Eine alte Kundenvereinbarung ist formal überholt, enthält aber historische Begründungen. Eine Richtlinie wurde im Dateinamen als „final“ markiert, aber nie freigegeben.

Eine KI-Suche kann solche Unterschiede nicht zuverlässig erraten.

Aktualität braucht explizite Regeln. Welche Quelle ist führend? Wann wird ein Wissensobjekt geprüft? Wer ist Eigentümer? Was passiert mit alten Versionen? Werden sie archiviert, gelöscht oder als Historie markiert? Darf die KI alte Inhalte verwenden, wenn sie historische Fragen beantwortet?

Ohne diese Regeln entstehen Antworten, die sprachlich gut sind, aber fachlich riskant.

Warum reicht Vektorsuche allein nicht aus?

Vektorsuche ist stark bei semantischer Ähnlichkeit. Sie findet Inhalte, die in Bedeutung nahe an der Frage liegen. Aber Unternehmen suchen nicht nur nach Bedeutung. Sie suchen auch nach IDs, Kundennummern, Produktcodes, Aktenzeichen, Normen, Versionsnummern und exakten Begriffen.

Eine gute KI-Suche kombiniert deshalb oft mehrere Verfahren: semantische Suche, Keyword-Suche, Metadatenfilter, Rechteprüfung, Reranking und Quellenprüfung.

Wenn ein Mitarbeiter fragt: „Welche Regel gilt für Auftrag VS-2025-184?“ darf die Suche nicht nur semantisch ähnliche Texte finden. Sie muss exakt den Auftrag, den Kunden, den Prozess und die geltenden Dokumente identifizieren.

Für operative Arbeit ist Hybrid Search oft realistischer als reine Vektorsuche.

Wie sollte gutes Chunking im Unternehmen aussehen?

Gutes Chunking orientiert sich nicht an Zeichenlängen, sondern an Bedeutung und Struktur. Ein Prozessschritt sollte nicht mitten im Satz getrennt werden. Eine Tabelle muss als Tabelle erhalten bleiben oder sinnvoll in strukturierte Daten übersetzt werden. Überschriften, Abschnitte, Quellen und Gültigkeitsinformationen müssen beim Chunk bleiben.

Bei technischen Dokumenten kann ein Chunk ein Kapitel, ein Arbeitsschritt oder eine Problemlösung sein. Bei Verträgen kann ein Chunk eine Klausel mit Überschrift und Bezug sein. Bei Kundenwissen kann ein Chunk eine konkrete Regel, Entscheidung oder Ausnahme sein. Bei FAQ-Wissen kann ein Chunk eine geprüfte Frage-Antwort-Einheit sein.

Das Ziel ist nicht, möglichst viele Chunks zu erzeugen. Das Ziel ist, sinnvolle Wissenseinheiten zu erzeugen.

Welche Rolle spielt Evaluierung?

Viele RAG-Projekte werden gebaut, aber nicht wirklich getestet. Man stellt ein paar Beispiel-Fragen, bekommt brauchbare Antworten und geht weiter. Das reicht nicht.

Eine produktive KI-Suche braucht Testsätze. Typische Nutzerfragen. Erwartete Quellen. Erwartete Antworten. Grenzfälle. Alte Dokumente. Widersprüche. Sonderfälle. Fragen, die nicht beantwortet werden dürfen. Fragen, bei denen die KI auf einen Menschen verweisen muss.

Erst dadurch wird sichtbar, ob das System richtige Chunks findet, aktuelle Quellen bevorzugt, Metadaten korrekt filtert und unsichere Antworten erkennt.

Ohne Evaluierung ist RAG ein Bauchgefühl.

Wie sieht der richtige Einstieg aus?

Der Einstieg sollte nicht lauten: „Wir indexieren alles.“ Das ist verlockend, aber meistens falsch.

Besser ist ein begrenzter, operativer Bereich. Zum Beispiel Kundenservice, Angebotsprüfung, Onboarding, Projektübergabe oder interne Richtlinien. Dort werden typische Fragen gesammelt. Dann wird geprüft, welche Quellen wirklich gelten, welche Dokumente veraltet sind, welche Metadaten fehlen und welche Wissensobjekte daraus entstehen müssen.

Erst danach kommt die technische Suche.

Das klingt langsamer, ist aber schneller als ein großer RAG-Prototyp, der nach drei Monaten niemandem vertraut.

Warum liefert KI-Suche im Unternehmen oft falsche oder unvollständige Antworten?

KI-Suche liefert schlechte Antworten, wenn sie schlechte Wissenseinheiten findet. Das Modell formuliert nur das, was Retrieval, Chunking, Embeddings, Metadaten und Quellenprüfung ihm liefern. Wenn diese Schicht schwach ist, wird auch die Antwort schwach.

Ein PDF-Ordner plus Chatbot ist deshalb nur der Anfang. Für ein verlässliches System braucht es Wissensarchitektur.

Der Unterschied zeigt sich im Alltag: Eine einfache KI-Suche klingt überzeugend. Ein Company Brain kann belegen, warum eine Antwort gilt.

Interessante Links

Pinecone – Chunking Strategies for LLM Applications
https://www.pinecone.io/learn/chunking-strategies/

Qdrant – Text Chunking Strategies
https://qdrant.tech/course/essentials/day-1/chunking-strategies/

Pinecone Docs – Data modeling
https://docs.pinecone.io/guides/index-data/data-modeling

Quellen der verwendeten Kennzahlen und Studien

Gartner – Market Guide for Enterprise AI Search
https://www.gartner.com/en/documents/6952766

Gartner – Magic Quadrant for Augmented Data Quality Solutions
https://www.gartner.com/en/documents/6246519

arXiv – A Systematic Review of Key Retrieval-Augmented Generation Techniques
https://arxiv.org/html/2507.18910v1

Postman – 2025 State of the API Report
https://www.postman.com/state-of-api/2025/

FAQ

Was bedeutet Chunking bei KI-Suche?

Chunking bedeutet, Dokumente in kleinere Wissenseinheiten zu zerlegen, damit sie für Suche und KI-Antworten genutzt werden können. Entscheidend ist nicht die reine Länge, sondern die Bedeutung. Ein guter Chunk enthält genug Kontext, bleibt aber präzise genug, um bei einer konkreten Frage gefunden zu werden.

Was sind Embeddings?

Embeddings sind mathematische Darstellungen von Texten. Sie helfen, Inhalte nach Bedeutung statt nur nach exakten Wörtern zu finden. Dadurch kann eine KI-Suche auch ähnliche Formulierungen erkennen. Embeddings verstehen aber nicht automatisch Aktualität, Freigabe, Verbindlichkeit oder Unternehmenslogik. Dafür braucht es Metadaten und Governance.

Warum sind Metadaten für RAG so wichtig?

Metadaten beschreiben Kontext, den der reine Text oft nicht zuverlässig liefert. Dazu gehören Version, Quelle, Gültigkeit, Freigabe, Abteilung, Rolle, Kunde, Prozess und Vertraulichkeit. Ohne Metadaten kann eine KI-Suche schwer unterscheiden, ob ein Dokument aktuell, verbindlich oder nur ein alter Entwurf ist.

Warum liefert ein Chatbot mit PDFs oft falsche Antworten?

Ein Chatbot mit PDFs liefert schlechte Antworten, wenn die Dokumente falsch zerlegt, schlecht geparst oder ungeprüft indexiert wurden. Besonders problematisch sind alte Versionen, Dubletten, fehlende Metadaten, Tabellenfehler und unklare Quellen. Das Sprachmodell formuliert dann überzeugend, obwohl der gefundene Kontext unvollständig oder falsch ist.

Was ist der Unterschied zwischen RAG und Company Brain?

RAG ist eine technische Architektur, bei der ein Sprachmodell externe Inhalte abruft und daraus Antworten generiert. Ein Company Brain geht weiter. Es definiert, welche Inhalte gelten, wie Wissen strukturiert wird, wer verantwortlich ist, welche Quellen aktuell sind und wie Antworten in operative Prozesse eingebunden werden.

Warum sind Dubletten gefährlich für KI-Suche?

Dubletten können Suchergebnisse verzerren. Wenn veraltete oder falsche Inhalte mehrfach vorhanden sind, erscheinen sie für das System relevanter, als sie fachlich sind. Die KI kann dadurch mehrere ähnliche, aber falsche Treffer erhalten und eine Antwort erzeugen, die scheinbar gut belegt ist, aber auf redundanten Altständen basiert.

Warum reicht reine Vektorsuche im Unternehmen nicht aus?

Reine Vektorsuche findet semantisch ähnliche Inhalte, aber Unternehmen brauchen oft exakte Treffer. Kundennummern, Vertragsnummern, Produktcodes, Normen, Versionen und Freigaben müssen präzise erkannt werden. Deshalb sind Hybrid Search, Metadatenfilter, Rechteprüfung, Reranking und Quellenlogik für produktive KI-Suche meist notwendig.

Wie startet man ein verlässliches RAG-Projekt?

Ein guter Start ist ein begrenzter Anwendungsfall mit typischen Fragen und geprüften Quellen. Danach werden Dokumente bereinigt, sinnvoll gechunkt, mit Metadaten ergänzt und auf Dubletten geprüft. Anschließend werden Testsätze erstellt, um Retrieval-Qualität, Antwortqualität, Aktualität und Eskalationslogik regelmäßig zu bewerten.