KI-Anwendungen
KI-Anwendungen testen: was kaputtgeht und wie man es testet.
Eine LLM-App scheitert auf Arten, die eine normale Web-App nicht kennt. Das Modell liefert jedes Mal etwas anderes, also können Sie nicht auf die Antwort prüfen — Sie prüfen alles um sie herum: dass eine Antwort ankommt, streamt, endet, sichtbar fehlschlägt, ein Limit einhält und nie Daten zurückgibt, die die Person nicht sehen darf.
Zuletzt aktualisiert am 24. August 2026
Worin unterscheidet sich das Testen einer KI-Anwendung?
Die Oberfläche ist dieselbe. Der Vertrag nicht. Klassische Testautomatisierung beruht auf einer Assertion, die zweimal gilt — hier klicken, das sehen. Ein Modell bricht diese Annahme beim ersten Lauf, weshalb Teams oft schließen, ihre KI-Funktionen ließen sich gar nicht regressionstesten, und sie dann ungetestet ausliefern.
Sie lassen sich testen. Der Trick ist, die Assertion vom Fließtext auf die deterministischen Teile zu verlegen: Die Antwort kam innerhalb eines Budgets an, sie ließ sich als das gewünschte Schema parsen, sie zitierte ein Dokument, das dieser Nutzer lesen darf, eine Ablehnung wurde als Ablehnung dargestellt, ein Retry hat nicht doppelt abgebucht. Das alles ist gewöhnliche Automatisierung. Zu beurteilen, ob die Antwort gut ist, ist ein Evaluierungsproblem, braucht Ihre eigene Ground Truth und gehört in ein Harness neben Ihre Prompts statt in eine Regressions-Suite.
Was in einer LLM-App tatsächlich kaputtgeht
Das sind Verhaltensweisen, keine Meinungen über die Ausgabequalität, und genau deshalb sind sie testbar. Jede erreicht die Nutzer als Fehler im Produkt, nicht als schlechte Antwort.
| Fehler | Wie er einen Nutzer erreicht | Der Test |
|---|---|---|
| Die Antwort streamt und hört dann auf halbem Weg auf | Eine Verbindung, die mitten im Stream abbricht, lässt eine halb geschriebene Antwort ohne Fehler und ohne Wiederholung auf dem Bildschirm stehen. Nutzer lesen sie als die Antwort. | Unterbrechen Sie die Antwort mitten im Stream und prüfen Sie, dass die UI einen Fehlerzustand zeigt, keine abgeschnittene Antwort. |
| Das Modell ist langsam, und die UI hat keine Antwort darauf | Ein p95 von vierzig Sekunden, während die Oberfläche weder Fortschritt noch Abbrechen noch Timeout bietet. Menschen klicken erneut, und nun werden zwei Anfragen abgerechnet. | Halten Sie die Antwort über das Timeout hinaus offen und prüfen Sie, dass es einen sichtbaren Zustand, einen Abbruchpfad und keine doppelte Anfrage beim zweiten Klick gibt. |
| Der Anbieter liefert 429 oder 503 | Rate Limits und Ausfälle des Anbieters sind Routine, keine Ausnahme. Apps, die sie für unmöglich halten, zeigen einen rohen Fehler oder einen endlosen Spinner. | Lassen Sie den Anbieter 429 und 503 liefern und prüfen Sie, dass die App zu einer Meldung herunterschaltet, mit der ein Nutzer etwas anfangen kann. |
| Leere, abgelehnte und sicherheitsgefilterte Antworten | Das Modell lehnt ab, oder der Sicherheitsfilter greift, und die Oberfläche zeigt eine leere Blase, weil sie nur den Happy Path behandelt. | Erzwingen Sie eine Ablehnung und eine leere Completion; prüfen Sie, dass keine davon eine leere Nachricht oder ein kaputtes Layout erzeugt. |
| Die Unterhaltung verliert ihren Kontext | Der Verlauf wird gekürzt, um ins Fenster zu passen, und der Assistent vergisst stillschweigend, was ihm vor drei Nachrichten gesagt wurde. Es wirkt, als wäre das Produkt dumm. | Führen Sie eine Unterhaltung über das Kontextlimit hinaus und prüfen Sie, dass die App sagt, was sie verworfen hat, statt es stillschweigend zu verwerfen. |
| Tool-Aufrufe werden mehrfach ausgelöst | Ein Agent wiederholt einen Schritt, dessen Tool bereits gelaufen ist. Was auch immer dieses Tool getan hat — eine E-Mail, eine Abbuchung, ein Schreibvorgang — passiert zweimal. | Lassen Sie einen Tool-Aufruf nach seinem Erfolg in ein Timeout laufen und prüfen Sie, dass die Wiederholung den Nebeneffekt nicht wiederholt. |
| Die Suche liefert das Dokument eines anderen Mandanten | Der Vektorspeicher wird im Prompt statt in der Abfrage gefiltert, sodass eine Suche, die die Anweisung ignoriert, Daten zurückgibt, die der Nutzer nicht lesen darf. | Fragen Sie als ein Mandant nach einem Dokument eines anderen und prüfen Sie, dass es in der abgerufenen Menge fehlt, nicht nur in der Antwort unerwähnt bleibt. |
| Die Kosten laufen ohne Obergrenze davon | Keine Obergrenze pro Nutzer, sodass eine Schleife oder ein skriptgesteuertes Konto zu einer Rechnung wird, die niemand bemerkt, bis die Rechnung kommt. | Rufen Sie denselben Endpunkt wiederholt auf und prüfen Sie, dass ein Limit existiert — pro Nutzer, pro Schlüssel, pro Minute. |
Sicherheit
LLM-Sicherheitstests: die Fläche, die eine Prüfung wert ist
Eine KI-Funktion kommt meist mit zwei Dingen verdrahtet, die eine normale Funktion nicht hat: einem kostenpflichtigen Endpunkt und einer Komponente, die Anweisungen befolgt, die sie in allem findet, was sie liest. Beides vergrößert die Angriffsfläche auf Arten, für die ein gewöhnliches Anwendungssicherheits-Review nicht geschrieben wurde.
Unten geordnet danach, wie oft es tatsächlich gefunden wird — was nicht die Reihenfolge ist, in der darüber geschrieben wird.
- 01
Anbieter-Schlüssel im Client-Bundle
Ein Schlüssel des Modellanbieters, der in Front-End-JavaScript ausgeliefert wird oder über eine Proxy-Route ohne vorgeschaltete Authentifizierung erreichbar ist.
Jeder mit Entwicklerwerkzeugen kann Ihr Kontingent verbrauchen. Das ist das Billigste auf dieser Liste zu prüfen und das Teuerste zu verpassen.
- 02
Prompt Injection über Inhalte
Anweisungen, versteckt in etwas, das das Modell liest — einem hochgeladenen Dokument, einer ausgelesenen Seite, einem Support-Ticket, einem E-Mail-Text —, denen das Modell dann folgt.
Der Angreifer berührt Ihr Eingabefeld nie. Alles, was Ihr System aufnimmt, ist eine Eingabe, ob Sie es als solche entworfen haben oder nicht.
- 03
Injection, die ein Tool erreicht
Eingeschleuste Anweisungen, die einen Agenten dazu bringen, ein Tool aufzurufen: eine Nachricht zu senden, einen Datensatz zu schreiben, eine Anfrage an eine interne Adresse zu stellen.
Hier hört Injection auf, eine Peinlichkeit zu sein, und wird zum Vorfall. Der Schadensradius ist alles, was der Agent tun darf.
- 04
Offenlegung von System-Prompt und Geheimnissen
Das Modell dazu bringen, seine eigenen Anweisungen, seine Tool-Definitionen oder Teile der ihm gegebenen Konfiguration zu wiederholen.
Der System-Prompt enthält oft Geschäftsregeln, interne Endpunkte und gelegentlich Zugangsdaten, die niemand dort haben wollte.
- 05
Mandantenübergreifende Suche
Eine Suche, die dadurch eingegrenzt wird, dass man das Modell freundlich bittet, statt die Abfrage zu filtern.
Ein Prompt ist keine Zugriffskontrolle. Liegt der Filter in den Anweisungen, ist eine ignorierte Anweisung eine Datenpanne.
- 06
Ausgabe, die als Markup oder Code gerendert wird
Modellausgabe, die als HTML in die Seite oder in eine Shell, eine Abfrage oder ein eval eingesetzt wird.
Klassische Injection mit einer neuen Quelle. Das Modell ist jetzt eine nicht vertrauenswürdige Eingabe, und zwar eine, die ein Angreifer beeinflussen kann.
- 07
Unbegrenzte Ausgaben als Denial of Service
Ein Endpunkt, der ein kostenpflichtiges Modell aufruft, ohne Rate Limit, ohne Obergrenze pro Konto und ohne Größenlimit für das, was er annimmt.
Der Angriff zielt nicht darauf, Sie lahmzulegen. Er treibt eine Rechnung hoch, bis Sie sich selbst lahmlegen.
- 08
Was die Logs aufbewahren
Prompts und Completions, die in Logs und Analytics geschrieben werden — einschließlich allem, was ein Nutzer hineinkopiert hat.
Menschen fügen Produktions-Zugangsdaten und Kundendaten in Chat-Felder ein. Ihre Log-Aufbewahrung ist jetzt eine Datenschutzfrage.
Was QA Spider automatisiert, und was nicht
So eng formuliert, dass Sie uns darauf festnageln können.
Das automatisieren wir
- Steuert Ihr Produkt in einem echten Browser, sodass die oben genannten Fälle zu Streaming, Timeout, Retry, Leer- und Fehlerzustand gewöhnliche UI-Tests sind — sie laufen nach Zeitplan und bei jedem Deploy.
- Prüft die API unter der Oberfläche, einschließlich der Routen, die Ihr Front-End aufruft, um ein Modell zu erreichen.
- Legt fehlgeschlagene Prüfungen als Ticket in Jira, Azure DevOps, ClickUp, GitHub oder Linear an, mit den Schritten zur Reproduktion und einem Screenshot.
- Führt einen oberflächlichen Sicherheitsdurchlauf auf der öffentlichen Website aus: Transport- und Security-Header, Cookie-Flags, Mixed Content, Formular-Exposition, DNS und Schutz vor E-Mail-Spoofing.
Das tun wir nicht
- Wir liefern derzeit keine automatisierte Prompt-Injection- oder Jailbreak-Suite aus. Wenn Ihnen jemand sagt, sein Crawler mache das out of the box, lassen Sie sich die Assertions zeigen.
- Wir bewerten nicht, ob eine Antwort korrekt ist. Das ist ein Evaluierungsproblem, es braucht Ihre Ground Truth, und es ist eine andere Disziplin als Regressionstests.
Fragen, die man zum Testen von KI-Apps stellt
- Wie unterscheidet sich das Testen einer KI-Anwendung vom Testen einer normalen Web-App?
- Die Oberfläche ist dieselbe; die Ausgabe nicht. Eine normale App liefert zweimal dieselbe Antwort, sodass Sie darauf prüfen können. Ein Modell liefert jedes Mal etwas anderes, daher wandern Assertions auf die Form und das Verhalten rund um die Antwort — dass sie ankommt, streamt, endet, sichtbar fehlschlägt und kostet, was sie soll.
- Wie schreibt man eine Assertion, wenn sich die Ausgabe jedes Mal ändert?
- Prüfen Sie den Vertrag, nicht den Fließtext. Dass eine Antwort innerhalb des Budgets ankam, dass sie sich als das gewünschte Schema parsen ließ, dass sie ein Dokument zitierte, das der Nutzer sehen darf, dass eine Ablehnung als Ablehnung dargestellt wird. Die Formulierung zu beurteilen ist eine Evaluierung, getrennt von der Regressions-Suite.
- Was ist Prompt Injection, und wie testet man darauf?
- Anweisungen, versteckt in Inhalten, die Ihr System liest — einem Dokument, einer Webseite, einem Ticket —, denen das Modell dann gehorcht. Sie testen es, indem Sie Anweisungen in jeden Kanal einschleusen, der das Modell erreicht, und prüfen, dass die Wirkung nie eintritt: kein Tool aufgerufen, keine Daten zurückgegeben, kein System-Prompt wiederholt.
- Was ist das häufigste Sicherheitsproblem bei KI-Produkten?
- Unglamouröse. Ein Anbieter-Schlüssel, der vom Browser aus erreichbar ist, ein Modell-Endpunkt ohne Rate Limit und eine Suche, die durch eine Anweisung im Prompt statt durch einen Filter in der Abfrage eingegrenzt wird. Alle drei sind billiger zu finden als ein raffinierter Jailbreak und wahrscheinlicher vorhanden.
- Kann QA Spider mein KI-Produkt testen?
- Das Verhalten rund um das Modell, ja: Streaming, Timeouts, Retries, Ablehnungen, Fehlerzustände, Rate Limits und die API unter der Oberfläche, getestet in einem echten Browser bei jedem Deploy. Automatisierte Prompt-Injection-Suites liefern wir heute nicht aus, und wir sagen das lieber, als dass Sie es später herausfinden.
- Prüfen Sie, ob das Modell korrekte Antworten gibt?
- Nein. Korrektheit braucht Ihre Ground Truth und gehört in ein Evaluierungs-Harness, das Sie besitzen und zusammen mit Ihren Prompts versionieren. Regressionstests beantworten eine andere Frage: Funktioniert das, was gestern funktionierte, nach dem heutigen Deploy noch.
Richten Sie es auf Ihr KI-Produkt.
Das Verhalten rund um das Modell — Streaming, Timeouts, Retries, Ablehnungen, Rate Limits und die API unter der Oberfläche — getestet in einem echten Browser, bei jedem Deploy.