Ein Dokument verlangt den Versand einer E-Mail
Der Assistent soll ein Lieferantendokument zusammenfassen. Darin steht ein Absatz, der ihn auffordert, die Unterhaltung an eine externe Adresse weiterzuleiten. Dieser Absatz ist zu prüfender Inhalt, keine Anweisung der auftraggebenden Person. Behandelt das System beides gleich, überschreitet es eine Vertrauensgrenze.
OWASP unterscheidet direkte Prompt Injection von indirekten Anweisungen aus externen Inhalten. Die Organisation warnt zugleich davor, das Problem mit einer einzelnen Promptregel für gelöst zu halten. Die Beschreibung des Risikos liefert den Rahmen.
Die konkrete Entwicklungsfrage lautet deshalb: Welche Eingaben dürfen welche Handlungen beeinflussen? Ob das Modell einen Angriff geschickt erkennt, ist nur ein Teil davon. Auch ein völlig unauffälliges Dokument braucht eine klar begrenzte Rolle.
Information und Befugnis getrennt führen
Eine gefundene Seite kann einen Liefertermin nennen oder eine Richtlinie erklären. Sie darf aber nicht entscheiden, auf welches Kundenkonto der Assistent zugreifen kann, wohin eine Datei versendet wird oder ob eine Freigabe entfällt. Solche Entscheidungen gehören in den vertrauenswürdigen Anwendungskontext und zum tatsächlichen Auftrag.
Bei einem gedachten Einkaufsassistenten bleiben Aufgabe und Lieferantenunterlagen getrennt gekennzeichnet. Die Herkunft jeder Aussage bleibt erhalten. Ein Satz aus einem Dokument ist auch nach Übernahme in eine Zusammenfassung oder einen Handlungsvorschlag weiterhin eine Behauptung dieses Dokuments.
Damit wird Recherche nicht verhindert. Verhindert wird, dass gefundener Text unbemerkt zu einer Befugnis wird. Die Grenze hilft ausserdem bei gewöhnlichen Fehlern. Eine veraltete Anweisung in einem echten Handbuch kann Schaden verursachen, ohne absichtlich manipuliert worden zu sein.
Vor der Wirkung entscheidet die Anwendung
Ein Handlungsvorschlag sollte eine Prüfung bestehen, bevor er eine relevante Wirkung auslöst. Dafür braucht die Anwendung den aktuellen Nutzer, den betroffenen Datensatz, die erlaubte Operation und das vorgesehene Ziel. Die Behauptung, das Dokument habe die Aktion genehmigt, ist kein Berechtigungsnachweis.
Im Lieferantenbeispiel benötigt eine Zusammenfassung keinen Zugriff auf den E-Mail-Versand. Gehört das Versenden wirklich zum Ablauf, kann die Anwendung einen zulässigen Empfänger verlangen und den ausgehenden Inhalt anzeigen. Unnötige Aktionen zu entfernen lässt sich besser prüfen, als sämtliche Werkzeuge bereitzustellen und auf die Zurückhaltung des Modells zu hoffen.
Auch eine menschliche Freigabe gehört an den Punkt, an dem die Konsequenz sichtbar wird. Eine pauschale Zustimmung zu Sitzungsbeginn kann keinen späteren Versand eines noch unbekannten Anhangs an eine unbekannte Adresse sinnvoll abdecken.
Die unspektakulären Eingänge mitprüfen
Ein Test mit einem offensichtlich feindseligen Absatz erfasst nicht alle Stellen, an denen Inhalte ihre Form wechseln. Dieselbe Anweisung sollte in zitierter Korrespondenz, einem Dokumenttitel, einem Suchtreffer und einer Werkzeugfehlermeldung auftauchen. Gesucht wird die Stelle, an der die Anwendung die Herkunft beim Weiterverarbeiten verliert.
Neben der endgültigen Antwort gehört der vorgeschlagene Werkzeugaufruf ins Testprotokoll. Eine harmlose Antwort kann einen unsicheren Versuch verdecken, den zufällig eine andere Komponente abgefangen hat. Umgekehrt beweist die Ablehnung eines Dokuments wenig, wenn der Assistent damit auch die berechtigte Aufgabe nicht mehr erledigt.
Ein brauchbares Abnahmekriterium verbindet Begrenzung und Nutzen. Die Zusammenfassung bleibt belegt, fehlende Informationen werden benannt und nicht genehmigte Wirkungen bleiben aus.
Diese Woche eine konkrete Aktion verfolgen
Einen Ablauf auswählen, der etwas versenden, verändern oder löschen darf. Dann jeden Text verfolgen, der seine Entscheidung erreichen kann: vom Nutzerauftrag über externe Seiten bis zu internen Werkzeugantworten. Dabei markieren, welche Quellen Tatsachen liefern und welche wirklich Befugnisse erteilen.
Anschliessend eine fremde Anweisung in eine nicht vertrauenswürdige Quelle einsetzen und den Vorschlag vor der Ausführung beobachten. Die Anwendung muss die unzulässige Aktion abweisen und den berechtigten Auftrag weiter ermöglichen. Diese Grenze wird so dokumentiert, dass spätere Verantwortliche sie testen können. Eine strengere Warnung im Prompt ersetzt nicht die Entscheidung darüber, wer handeln darf.