Ein interner Assistent beantwortete die Fragen zum Launch überzeugend. Eine Woche später zitierte er für einen Mitarbeiter eine alte Richtlinie und zeigte einem anderen den Namen eines gesperrten Projekts. Retrieval funktionierte. Das Produkt nicht.
RAG beschreibt ein technisches Muster: relevantes Material suchen, in den Kontext legen, Antwort erzeugen. Es entscheidet nicht, welches Material relevant ist, wer es sehen darf, wie schnell es sich ändert oder was bei zu wenig Evidenz geschieht. Diese Entscheidungen sind das Produkt.
Retrieval Qualität beginnt vor Vektoren
Ein brauchbarer Index braucht kohärente Quelldokumente, stabile Kennungen, sinnvolle Metadaten und vernünftige Grenzen. Enthält eine Handbuchseite mehrere unabhängige Regeln, erzeugt die ganze Seite Rauschen. Verlieren Chunks Titel, Owner oder Gültigkeitsdatum, kann das Modell Autorität nicht beurteilen. Bleiben Duplikate, kann eine alte Kopie die aktuelle überstimmen.
Retrieval wird getrennt von Generation getestet. Für eine echte Frage wird geprüft, welche Passagen in welcher Reihenfolge und mit welchen Metadaten ankommen. Exakte Begriffe, Umschreibungen, Abkürzungen, Namen und Sprachvarianten gehören in den Test. Eine flüssige Endantwort kann schwaches Retrieval verdecken, indem sie Lücken aus Modellwissen füllt.
Berechtigungen gehören in das Retrieval
Filtern nach der Generation ist zu spät. Der Retriever liefert nur Dokumente, die der authentifizierte Nutzer lesen darf. Permission Metadata reist mit dem Inhalt und wird zur Query Zeit durchgesetzt. Cache und Gesprächsverlauf brauchen dieselbe Grenze.
Microsofts Anleitung für Zugriff auf Dokumentebene beschreibt den Abgleich der Nutzeridentität mit den am indexierten Dokument gespeicherten Rechten. Sie nennt auch den operativen Haken: Änderungen an der Quelle wirken erst nach Synchronisierung der Metadaten. Ein sicheres Design braucht daher Query Time Enforcement und einen definierten Sync Pfad.
Ein gemeinsames Service Credential darf nicht alles laden, damit das Modell sensible Teile versteckt. Das Modell darf Inhalte ohne Nutzerberechtigung gar nicht erhalten.
Aktualität braucht Owner und Uhr
Ein RAG System ist eine zweite Darstellung des Unternehmenswissens. Ohne Trigger, Monitoring und Recovery veraltet sie. Es wird festgelegt, welche Quellen bei Events, durch Polling oder nach menschlicher Freigabe aktualisiert werden. Quellrevision und Indexzeit werden gespeichert und in Diagnostik sowie Citations sichtbar.
Löschen ist so wichtig wie Hinzufügen. Wird ein Dokument zurückgezogen oder sein Zugriff geändert, müssen Index, Cache und abgeleitete Zusammenfassungen folgen. Ein erfolgreicher Ingestion Job beweist keine Aktualität, wenn ein Teil der Quelle still scheiterte. Verzögerungen werden pro Quelle verfolgt, fehlende oder ungewöhnlich alte Inhalte lösen Alarm aus.
"Ich weiss es nicht" ist ein Produktfeature
Für unzureichende Evidenz braucht der Assistent eine klare Grenze. Ein höflicher Satz im Prompt reicht nicht. Es muss geprüft werden, ob die gefundenen Passagen die Antwort tragen. Citations müssen auf Inhalte zeigen, die der aktuelle Nutzer öffnen darf. Widersprechen sich Quellen, wird der Konflikt gezeigt oder an einen Owner geleitet.
Eine Ablehnung soll nützlich sein. Sie kann nennen, was durchsucht wurde, welcher Beleg fehlt und welches Team oder System zuständig ist. So wird Unsicherheit zum nächsten Schritt. Erfundenes Vollständigkeitsgefühl wird zum versteckten Risiko.
Den Assistenten diese Woche betriebsfähig machen
Wiederkehrende Fragen echter Teams bilden ein Testset mit erwarteten Quellen, Berechtigungsrollen und Aktualitätsbedingungen. Zuerst läuft Retrieval ohne Generation. Fehlende Metadaten, doppelte Quellen und schlechte Chunk Grenzen werden vor Prompt Tuning korrigiert.
Danach wird dieselbe Frage mit verschiedenen Zugriffen getestet. Ein Dokument wird entzogen und sein Verschwinden aus Suche, Cache und Citations gemessen. Fälle ohne Antwortquelle definieren die erwartete Ablehnung.
Zuletzt erhält jede Quelle sowie der Assistent selbst einen Owner. Eine RAG Demo beweist, dass Text gefunden und umgeschrieben werden kann. Ein Produkt beweist, dass die richtige Person aktuelle, erlaubte Evidenz erhält und das System nicht improvisiert, wenn diese fehlt.