Alle InsightsAI Automation

Wie testet man einen KI-Agenten, bevor er live geht?

Ein KI-Agent, der in der Demo glänzt, kann am ersten Tag Ihr ERP durcheinanderbringen. Wie ich Agenten an echten alten Fällen teste, bevor sie live gehen.

· 6 Min. Lesezeit · Stefan Parge

Die Demo funktioniert immer. Jemand gibt dem Agenten eine saubere Beispielrechnung, er liest Lieferant, Betrag und Fälligkeit aus, und alle im Raum nicken. Dann geht er live, die dritte Rechnung ist ein gescanntes PDF mit handschriftlicher Korrektur, und der Agent bucht sie auf die falsche Kostenstelle.

Am Modell lag es nicht. Niemand hatte geprüft, was es mit den Fällen macht, die wirklich hereinkommen.

So teste ich einen Agenten, bevor er in die Nähe eines Produktivsystems kommt.

Mit Fällen anfangen, die schon gelöst sind

Das beste Testmaterial ist Ihre eigene Vergangenheit. Jede Firma, die einen Prozess betreibt, hat einen Stapel abgeschlossener Fälle: gebuchte Rechnungen, beantwortete Mails, bewertete Schäden. Bei jedem steht fest, was ein Mensch entschieden hat und warum.

Davon wähle ich eine Reihe aus, zum Start meist einige Dutzend, und lasse den Agenten darauf los. Dann vergleiche ich sein Ergebnis mit dem, was Ihre Leute gemacht haben. Nicht „klingt das plausibel“, sondern „kommt er zur selben Buchung, derselben Antwort, demselben Wert“.

So eine Sammlung heißt oft Golden Set. Der Name klingt größer, als es ist: ein Ordner mit echten Fällen und der richtigen Lösung daneben.

Die unangenehmen Fälle mit Absicht

Ein Testset voller sauberer Beispiele zeigt Ihnen, dass der Agent saubere Beispiele kann. Das wussten Sie schon aus der Demo.

Wertvoll sind die Fälle, über die Ihr Team stöhnt. Der Lieferant, der drei Rechnungen in ein PDF packt. Der Kunde, der in zwei Sprachen schreibt. Der Schaden, bei dem es das Gerät nicht mehr gibt und jemand das Nachfolgemodell suchen musste. Scheitert der Agent daran, wollen Sie das jetzt wissen und nicht in Woche zwei.

Ich frage die Leute, die die Arbeit machen: „Welche Fälle würden Sie nie einem neuen Kollegen geben?“ Die kommen zuerst ins Set.

Festlegen, was gut genug ist

Ein Agent wird nicht jeden Fall richtig lösen. Ein neuer Mitarbeiter auch nicht. Die Frage ist, mit welchen Fehlern Sie leben können.

Ein falsches Feld in einem Entwurf, den ohnehin jemand prüft, kostet wenig. Ein falscher Betrag, der direkt in die Buchhaltung geht, kostet viel. Deshalb lege ich vor dem Test mit dem Kunden fest, wo der Agent allein handeln darf und wo ein Mensch prüft. Davon hängt ab, wie streng der Test sein muss.

Erst neben Ihren Leuten laufen lassen

Wenn die Zahlen auf den alten Fällen gut aussehen, würde ich den Agenten trotzdem noch nicht in Produktivsysteme schreiben lassen. Besser läuft er zuerst im Schattenbetrieb: Er sieht die echten neuen Fälle, liefert sein Ergebnis, und ein Mensch vergleicht es mit der eigenen Entscheidung. Nichts davon erreicht schon das ERP oder den Kunden.

Dabei tauchen meist Fallarten auf, an die niemand gedacht hat. Sie kommen ins Testset, und der Agent wird dafür nachgebessert.

Nach jeder Änderung neu testen

Diesen Schritt lassen viele weg. Eine neue Modellversion, ein umformulierter Prompt, eine geänderte Geschäftsregel: Jede davon kann Ergebnisse an Stellen verschieben, die Sie gar nicht angefasst haben. Ich lasse nach jeder Änderung das ganze Set alter Fälle neu laufen und vergleiche es mit dem letzten Lauf, bevor etwas live geht.

In einem Projekt schlägt ein Agent für ein Sachverständigenbüro Wiederbeschaffungswerte für beschädigte Geräte vor, mit Quellen. Jede Änderung daran läuft zuerst gegen frühere Fälle. Der Sachverständige prüft und entscheidet weiterhin jeden Fall, aber der Vergleich zeigt, was eine Änderung bewirkt, bevor sie im Alltag ankommt.

Wie das in der Praxis aussieht

  • Ein Set echter alter Fälle mit dem richtigen Ergebnis, die schwierigen eingeschlossen
  • Eine klare Grenze zwischen dem, was der Agent allein macht, und dem, was ein Mensch prüft
  • Schattenbetrieb, bevor er irgendetwas schreibt
  • Ein Protokoll jedes Laufs, damit Sie sehen, warum er wie entschieden hat
  • Dasselbe Testset nach jeder Änderung

Exotisch ist daran nichts. Es ist vor allem die Disziplin, vor dem Bauen aufzuschreiben, was „richtig“ heißt. Wenn Sie durchsprechen wollen, wie das für einen Ihrer Prozesse aussähe: Genau dort beginnt meine Arbeit an KI-Agenten und Automatisierung.

Kurz beantwortet

Wie testet man einen KI-Agenten, bevor er an Produktivsysteme angeschlossen wird?

Man lässt ihn eine Reihe echter, abgeschlossener Fälle bearbeiten, bei denen das richtige Ergebnis feststeht, und vergleicht sein Ergebnis mit der Entscheidung Ihrer Leute. Erst wenn die Fehlerquote passt, kommt er an die Live-Systeme, und auch dann zuerst eine Zeit lang im Schattenbetrieb neben den Mitarbeitenden.

Wie viele Testfälle braucht ein KI-Agent?

Genug, um den Normalfall und die unangenehmen Fälle abzudecken. Bei den meisten Geschäftsprozessen sind das einige Dutzend bis einige Hundert alte Fälle. Wichtiger als die Zahl sind die schwierigen Fälle.

Muss man neu testen, wenn sich das KI-Modell ändert?

Ja. Eine neue Modellversion, ein geänderter Prompt oder eine neue Geschäftsregel können Ergebnisse verschieben. Nach jeder Änderung laufen dieselben alten Fälle noch einmal durch, und erst nach dem Vergleich geht die Änderung live.

Hat der Artikel neue Fragen aufgeworfen?

Gut, dort fängt die interessante Arbeit meistens an. Das Gespräch von 30 Minuten ist kostenlos, und ich will Ihnen dabei nichts verkaufen.

Gespräch buchen