Der günstige Weg erzeugt die teure Korrektur
Eine kurze Anfrage landet beim günstigeren Modell, weil der Router kurz mit einfach gleichsetzt. Die Antwort klingt schlüssig, übersieht aber eine Bedingung für den Anspruch des Kunden. Später korrigiert eine Mitarbeiterin das Ergebnis manuell. Die Modellrechnung sieht besser aus, der Ablauf ist schlechter geworden.
Routing ist eine Produktentscheidung darüber, welche Aufgaben welche Fähigkeiten erhalten. Dafür braucht es eine ausdrückliche Qualitätsgrenze statt bloss einer Vorliebe für die billigste Antwort. Eingabelänge lässt sich leicht messen. Dadurch wird sie noch kein brauchbarer Ersatz für Schwierigkeit oder Konsequenz.
Bei einem gedachten Serviceassistenten können die Frage nach einer Öffnungszeit und die Auslegung einer Ausnahme in einer Kontorichtlinie gleich kurz sein. Ohne Beleg sollten sie nicht automatisch denselben Weg erhalten.
Schwierigkeit und Konsequenz getrennt betrachten
Eine Aufgabe lässt sich leicht formulieren und trotzdem teuer falsch beantworten. Vor der Verarbeitung werden deshalb Handlung und Konsequenz beschrieben. Ein interner Etikettvorschlag zur Prüfung trägt ein anderes Risiko als eine Anweisung, die einen Kundendatensatz verändert.
Unser bevorzugtes Routingbriefing benennt Aufgabenfamilien, erforderliche Belege und den Punkt, an dem Unsicherheit die Automation verlassen muss. Einige Aufgaben brauchen ein stärkeres Modell. Andere brauchen eine eindeutige Abfrage, eine Berechtigungsprüfung oder eine menschliche Entscheidung statt zusätzlicher Modellkapazität.
Diese Möglichkeiten sollten erhalten bleiben. Eine Architektur, die ausschliesslich zwischen Modellen wählen kann, behandelt jedes Versagen leicht als mangelnde Intelligenz. Fehlende Daten und fehlende Befugnisse verschwinden jedoch nicht durch einen Modellwechsel.
Den Router als Systembestandteil prüfen
Ein Modell kann einen Testsatz bestehen und in der gerouteten Anwendung trotzdem scheitern, weil es unpassende Aufgaben erhält. Geprüft wird deshalb der gesamte Weg: Einordnung, gewähltes Modell, unterstützende Werkzeuge und Ergebnis. Für typische Fälle werden erwarteter und tatsächlich gewählter Weg festgehalten.
Googles Evaluierungsleitfaden beginnt mit einem definierten Prüfziel und aufgabenspezifischen Kriterien. Ein allgemeiner Qualitätswert wird nicht als Antwort auf jede Frage vorausgesetzt. Die Dokumentation zu Metriken erläutert den Ansatz.
Beim Servicebeispiel zählt, ob der Kunde einen richtigen nächsten Schritt mit den nötigen Belegen erhält. Routineauskünfte, mehrdeutige Anliegen, fehlende Informationen und folgenreiche Aktionen werden getrennt betrachtet. Ein Durchschnitt kann eine Verschlechterung gerade in der wichtigsten Gruppe verdecken.
Der Ersatzweg braucht dieselbe Prüfung
Ist das bevorzugte Modell nicht erreichbar, darf der Ersatzweg nicht stillschweigend Aufgaben übernehmen, für die er nie freigegeben wurde. Die Anwendung kann eine Aufgabe verschieben, die Handlung begrenzen oder eine Prüfung anfordern. Erreichbarkeit ist wichtig. Eine unbelegte Entscheidung auszugeben bedeutet aber nicht, weiterhin hilfreich zu sein.
Der Ersatzweg wird ebenso klar beschrieben wie der normale. Erhält er die vollständige Aufgabe oder bietet er einen eingeschränkten Dienst? Der Auswahlgrund gehört ins Protokoll, damit eine Störungsanalyse geplantes Routing von einer Notlösung unterscheiden kann.
Auch die Arbeit nach der ersten Antwort zählt. Wiederholungen, Eskalationen und Korrekturen gehören in den Vergleich. Niedrige anfängliche Inferenzkosten beweisen keine wirtschaftliche Gesamtstrecke. Ein langsamerer Weg kann vertretbar sein, wenn er wiederholte Eingriffe vermeidet.
Diese Woche vollständige Aufgabenwege vergleichen
Einen bestehenden Ablauf wählen und aus freigegebenem, angemessen verarbeitetem Material repräsentative Beispiele bilden. Dazu gehören scheinbar einfache Fälle mit wichtigen Bedingungen. Erwartetes Ergebnis und erlaubte Aktionen stehen vor dem Vergleich fest.
Aktuellen Weg, vorgeschlagenes Routing und Ersatzweg mit denselben Beispielen ausführen. Falsche Zuordnungen werden getrennt von falschen Modellantworten untersucht. Anschliessend den Rollout umkehrbar halten und neue Fehler nach diesen Kategorien prüfen. Eine Route wird geändert, wenn die tatsächlich erledigte Arbeit dafür spricht, nicht nur eine attraktive Preiskalkulation.