Vor der Technik den Fehler benennen
Findet ein Assistent die aktuelle Richtlinie nicht, sollte zuerst die Suche nach Quellen geprüft werden. Liegt die richtige Grundlage vor und wird die Aufgabe trotzdem wiederholt falsch ausgeführt, sind Prompting, Beispiele und gegebenenfalls Fine-Tuning zu untersuchen.
Microsoft trennt entsprechend zwischen RAG für private oder veränderliche Informationen und Fine-Tuning für Verhalten, Stil oder Aufgabenleistung. Diese Orientierung garantiert noch keinen Erfolg für einen konkreten Datenbestand. Microsoft zu RAG
Die entscheidende Frage ist nicht, welche Technik fortschrittlicher wirkt. Entscheidend ist, welchen nachgewiesenen Fehler sie überhaupt adressieren kann.
Fehlende und falsch verarbeitete Belege unterscheiden
Ein hypothetischer Support-Assistent beantwortet eine Garantiefrage. Die Richtlinie kann im Index fehlen, trotz vorhandener Datei nicht gefunden werden, ohne wichtige Ausnahme ankommen oder vollständig vorliegen und falsch verstanden werden.
Jeder Fall verlangt einen anderen Versuch. Trainingsbeispiele beweisen nicht, dass eine morgen geänderte Richtlinie gefunden wird. Mehr abgerufener Text beweist nicht, dass eine Bedingung richtig interpretiert wird. Eine zusammengefasste Qualitätsnote kann diese Unterschiede verdecken.
Frage, verbindliche Quelle, abgerufene Abschnitte und Endantwort gemeinsam dokumentieren. Die Prüfung sollte feststellen, an welcher Stelle die erste Abweichung entsteht. Daraus wird ein konkreter Reparaturauftrag.
Retrieval braucht einen Quellenlebenszyklus
Für RAG müssen verbindliche Quellen, Aktualisierungen und zurückgezogene Dokumente geregelt sein. Zugriffsrechte gehören vor die Offenlegung geschützter Inhalte gegenüber Modell oder Nutzer.
Bei einem Richtlinienassistenten ist eine belegte Antwort mit passender Fundstelle sinnvoll. Reicht die Grundlage nicht, sollte das System das mitteilen. Eine plausibel klingende Antwort ohne Beleg kann schädlicher sein als eine begründete Nichtantwort.
Nach einer Dokumentänderung sollte deshalb die Antwort geprüft werden, nicht nur der abgeschlossene Indexlauf. Unser Leitfaden zu brauchbaren RAG-Produkten behandelt Suche, Berechtigungen und Aktualität ausführlicher.
Fine-Tuning braucht ein stabiles Ziel
Fine-Tuning wird interessant, wenn das gewünschte Verhalten konsistent beschreibbar ist, Prompting geprüft wurde und repräsentative Beispiele existieren. Eine spezielle Ausgabeform oder wiederkehrende Fachaufgabe kann ein Kandidat sein. Die Eignung hängt weiterhin von Modell und Trainingsverfahren ab.
Eine getrennte Evaluationsmenge darf nicht bereits zum Zusammenstellen der Trainingsbeispiele gedient haben. Sonst wird möglicherweise Vertrautheit mit Beispielen belohnt, statt brauchbare Leistung bei neuen Fällen.
Historische Antworten sind nicht automatisch vorbildlich. Alte Tickets können Widersprüche, sensible Inhalte oder überholte Behelfslösungen enthalten. Die bereinigten Daten brauchen Zweck und Verantwortung.
Beide Ansätze lassen sich kombinieren. Ein angepasstes Modell kann gefundene Quellen verarbeiten. Quellenbelege, Berechtigungen und nicht beantwortbare Fragen müssen trotzdem geprüft werden.
Diese Woche gezielt vergleichen
Repräsentative Fehler als fehlende Quelle, Suchfehler, Interpretationsfehler, Ausgabeabweichung oder Regelverletzung einordnen. Zuerst die einfachste belegte Lücke bearbeiten.
Das bestehende System mit einer begrenzten Retrieval- oder Verhaltensänderung vergleichen, während die Prüffragen gleich bleiben. Aktualisierte Dokumente, unbekannte Fälle und abzulehnende Anfragen einbeziehen.
Clodrons Entwicklung von KI-Assistenten sollte diese Diagnose messbar machen. Eine zusätzliche Trainingsstufe ist kein Ergebnis. Bessere akzeptierte Antworten unter vergleichbaren Bedingungen sind es.
