In jedem Unternehmen steckt Wissen in Dokumenten: Handbücher, Arbeitsanweisungen, Angebote, Protokolle, technische Datenblätter, E-Mails. Das meiste davon liegt in Ordnern, die nur wenige vollständig kennen. Wer eine Antwort sucht, fragt die Kollegin, die schon lange dabei ist. Fällt sie aus, wird es schwierig.
KI-Assistenten versprechen hier Abhilfe. Doch ein allgemeines Sprachmodell kennt Ihre internen Dokumente nicht. Es kann nur aus dem antworten, was es beim Training gelernt hat. Damit es Ihr Firmenwissen nutzen kann, braucht es eine Verbindung zu Ihren Daten. Das Verfahren dafür heißt meist RAG. Dieser Artikel erklärt die wichtigsten Begriffe, damit Sie Angebote einschätzen und die richtigen Fragen stellen können.
RAG
RAG steht für Retrieval-Augmented Generation, auf Deutsch etwa „durch Suche ergänzte Texterzeugung“. Der Begriff geht auf eine Forschungsarbeit aus dem Jahr 2020 zurück. Die Idee ist einfach: Bevor das Sprachmodell antwortet, sucht ein Programm in Ihren Dokumenten nach passenden Abschnitten. Diese Abschnitte bekommt das Modell zusammen mit der Frage. Es formuliert seine Antwort dann auf dieser Grundlage.
Ein Vergleich aus dem Alltag: Statt eine neue Mitarbeiterin alle Handbücher auswendig lernen zu lassen, geben Sie ihr bei jeder Frage die drei passenden Seiten in die Hand. Sie liest nach und antwortet. Genau so arbeitet RAG.
Chunk
Lange Dokumente werden für die Suche in kleinere Abschnitte zerlegt, sogenannte Chunks. Ein Chunk umfasst oft einige Absätze. Das ist nötig, weil das Sprachmodell nur eine begrenzte Menge Text auf einmal verarbeiten kann und weil kurze Abschnitte sich genauer finden lassen.
Wie gut das gelingt, hängt stark vom Ausgangsmaterial ab. Ein sauber gegliedertes Handbuch mit Überschriften lässt sich sinnvoll zerlegen. Bei einem eingescannten Fax ohne erkennbaren Text klappt das nicht.
Embedding
Ein Embedding ist eine Zahlenreihe, die die Bedeutung eines Textabschnitts beschreibt. Abschnitte mit ähnlichem Inhalt bekommen ähnliche Zahlenreihen, auch wenn sie unterschiedliche Wörter verwenden. So findet eine Frage nach dem „Urlaubsantrag“ auch einen Abschnitt, in dem von „Freistellung beantragen“ die Rede ist.
Das ist der wesentliche Unterschied zur klassischen Volltextsuche, die nach genau den eingegebenen Wörtern sucht. In der Praxis kombinieren viele Systeme beides, weil die Volltextsuche bei Artikelnummern oder Fachbegriffen oft treffsicherer ist.
Vektordatenbank
Die Embeddings aller Chunks werden in einer Vektordatenbank gespeichert. Sie ist darauf spezialisiert, zu einer Frage schnell die ähnlichsten Abschnitte zu finden. Für Sie als Anwender ist sie unsichtbar. Wichtig ist nur, wo sie betrieben wird, denn sie enthält Auszüge aus all Ihren Dokumenten.
Kontextfenster
Das Kontextfenster ist die Menge Text, die ein Sprachmodell bei einer Anfrage verarbeiten kann. Frage, gefundene Abschnitte und Anweisungen müssen gemeinsam hineinpassen. Moderne Modelle haben große Kontextfenster. Trotzdem gilt: Je gezielter die Auswahl der Abschnitte, desto besser und günstiger die Antwort.
Halluzination
Sprachmodelle erzeugen manchmal Aussagen, die plausibel klingen, aber falsch sind. Man spricht von Halluzinationen. RAG verringert dieses Risiko, weil das Modell auf echte Dokumente gestützt antwortet. Ausschließen lässt es sich nicht.
Deshalb ist eine Funktion besonders wichtig: Jede Antwort sollte zeigen, aus welchen Dokumenten sie stammt. Dann können Mitarbeitende mit einem Klick nachprüfen, ob die Antwort stimmt.
Berechtigungen
Nicht jedes Dokument ist für jeden bestimmt. Gehaltslisten, Personalakten oder vertrauliche Kundenverträge gehören nicht in die Antworten für alle. Ein gutes System übernimmt deshalb die Zugriffsrechte aus Ihren bestehenden Ablagen. Wer ein Dokument im Original nicht öffnen darf, bekommt auch keine Antwort daraus.
Fragen Sie bei jedem Angebot ausdrücklich nach, wie Berechtigungen umgesetzt werden. Weitere Prüfpunkte enthält unsere Datenschutz-Checkliste für KI-Werkzeuge. Hier liegt einer der häufigsten Schwachpunkte.
Was die Qualität der Antworten bestimmt
Die Technik ist nur ein Teil. Mindestens ebenso wichtig sind die Dokumente selbst. Liegen von einer Arbeitsanweisung drei Fassungen in verschiedenen Ordnern, findet das System womöglich die alte. Widersprechen sich zwei Dokumente, kann die Antwort beide vermischen.
Bevor Sie ein solches System einführen, lohnt deshalb ein Blick auf die Ablage. Welche Dokumente sind verbindlich? Welche sind veraltet und sollten archiviert werden? Gibt es Dateien, die nur als Bild vorliegen und erst lesbar gemacht werden müssen? Ein Mensch kann mit einer unordentlichen Ablage umgehen, weil er weiß, welcher Ordner aktuell ist. Ein Programm weiß das nicht, solange es ihm niemand sagt.
Hilfreich sind auch einfache Regeln für neue Dokumente: ein aussagekräftiger Titel, ein Datum, ein Verantwortlicher. Davon profitieren die KI-Antworten und ebenso die normale Suche.
Fertiges Werkzeug oder eigene Lösung?
Für den Einstieg gibt es zwei Wege:
| fertiges Werkzeug | eigene Lösung | |
|---|---|---|
| Start | schnell, oft in Tagen | einige Wochen |
| Anpassung | begrenzt | frei gestaltbar |
| Datenhaltung | beim Anbieter | wählbar, auch im eigenen Rechenzentrum |
| Anbindung eigener Systeme | über vorhandene Schnittstellen | nach Bedarf |
| geeignet für | Standarddokumente in gängigen Ablagen | besondere Formate, Fachsysteme, strenge Vorgaben |
Viele Bürosoftware-Pakete bieten inzwischen eingebaute Assistenten, die auf die eigenen Dateien zugreifen. Für einfache Fälle kann das genügen. Sobald Daten aus einer Warenwirtschaft, einem Ticketsystem oder Fachanwendungen dazukommen, stößt man schnell an Grenzen. Dann braucht es eine Anbindung über Schnittstellen.
Wie Sie sinnvoll beginnen
Fangen Sie klein an. Wählen Sie einen klar umrissenen Bereich, zum Beispiel die technischen Unterlagen für den Kundendienst oder die internen Arbeitsanweisungen. Sammeln Sie zwanzig typische Fragen, die heute oft gestellt werden, und notieren Sie die richtigen Antworten.
Mit dieser Liste testen Sie das System. Wie viele Fragen beantwortet es richtig? Nennt es die passenden Quellen? Wo liegt es daneben, und liegt das am System oder an veralteten Dokumenten? Oft zeigt so ein Test vor allem, wie dringend die Ablage selbst aufgeräumt werden müsste. Auch das ist ein wertvolles Ergebnis.
Wenn Sie Ihr Firmenwissen mit KI erschließen und dabei Ihre eigenen Systeme anbinden möchten, finden Sie mehr unter Software-Entwicklung. Wir unterstützen Sie bei der Auswahl, beim Test und bei der Umsetzung einer Lösung, die zu Ihren Daten und Ihren Abläufen passt.