Hur testar man en AI-agent innan den går live?
En AI-agent som imponerar i en demo kan ställa till det i affärssystemet redan första dagen. Så testar jag agenter mot riktiga gamla ärenden först.
Demon fungerar alltid. Någon ger agenten en snygg exempelfaktura, den läser ut leverantör, belopp och förfallodag, och alla i rummet nickar. Sedan går den live, den tredje fakturan är en skannad PDF med en handskriven rättelse, och agenten bokför den på fel kostnadsställe.
Det var inget fel på modellen. Ingen hade kollat vad den gör med de ärenden som faktiskt kommer in.
Så här testar jag en agent innan den kommer i närheten av ett produktionssystem.
Börja med ärenden som redan är lösta
Det bästa testmaterialet är din egen historik. Varje företag som driver en process har en hög avslutade ärenden: bokförda fakturor, besvarade mejl, bedömda skador. För vart och ett vet du vad en människa bestämde och varför.
Jag väljer ut ett antal, oftast några dussin till att börja med, och låter agenten köra på dem. Sedan jämför jag dess resultat med vad dina medarbetare gjorde. Inte “låter det rimligt”, utan “kommer den fram till samma bokföring, samma svar, samma värde”.
En sådan samling kallas ofta golden set. Namnet låter större än det är: en mapp med riktiga ärenden och rätt svar bredvid.
Ta med de besvärliga med flit
Ett testset fullt av rena exempel visar att agenten klarar rena exempel. Det visste du redan från demon.
Det är ärendena som ditt team suckar över som är värda något. Leverantören som skickar tre fakturor i en PDF. Kunden som skriver på två språk. Skadan där produkten inte finns längre och någon fick leta upp efterföljaren. Klarar agenten inte dem vill du veta det nu, inte vecka två.
Jag frågar dem som gör jobbet: “Vilka ärenden skulle du aldrig ge till en ny kollega?” De kommer med först.
Bestäm vad som är bra nog
En agent kommer inte att lösa varje ärende rätt. Det gör inte en nyanställd heller. Frågan är vilka fel du kan leva med.
Ett fel fält i ett utkast som någon ändå granskar kostar lite. Ett fel belopp som går rakt in i bokföringen kostar mycket. Därför bestämmer jag tillsammans med kunden innan testet var agenten får agera själv och var en människa granskar. Det avgör hur strängt testet måste vara.
Låt den köra bredvid dina medarbetare först
När siffrorna på de gamla ärendena ser bra ut skulle jag ändå inte låta agenten skriva i produktionssystemen än. Låt den hellre gå i skuggdrift först: den ser de riktiga nya ärendena, tar fram sitt resultat, och en människa jämför med sitt eget beslut. Inget av det når affärssystemet eller kunden ännu.
Då dyker det ofta upp ärendetyper som ingen tänkt på. De läggs till i testsetet, och agenten rättas för dem.
Testa igen efter varje ändring
Det här steget hoppar många över. En ny modellversion, en omskriven prompt, en ändrad affärsregel: vilken som helst av dem kan flytta resultat på ställen du inte rört. Jag kör hela setet med gamla ärenden igen efter varje ändring och jämför med förra körningen innan något går live.
I ett projekt föreslår en agent åt en värderingsfirma återanskaffningsvärden för skadade apparater, med källor. Varje ändring körs först mot tidigare ärenden. Värderaren granskar och bestämmer fortfarande varje ärende, men jämförelsen visar vad en ändring gjorde innan den når det dagliga arbetet.
Hur det ser ut i praktiken
- Ett set riktiga gamla ärenden med rätt resultat, de besvärliga inräknade
- En tydlig gräns mellan vad agenten gör själv och vad en människa granskar
- Skuggdrift innan den skriver något
- En logg över varje körning, så att du ser varför den bestämde som den gjorde
- Samma testset efter varje ändring
Inget av det här är exotiskt. Det handlar mest om disciplinen att skriva ner vad “rätt” betyder innan man bygger. Vill du prata igenom hur det skulle se ut för en av dina processer, så är det precis där mitt arbete med AI-agenter och automatisering börjar.
Kort svar
Hur testar man en AI-agent innan den kopplas till produktionssystem?
Låt den köra på ett antal riktiga, avslutade ärenden där du redan vet rätt resultat, och jämför med vad dina medarbetare kom fram till. Först när felnivån är acceptabel kopplas den till skarpa system, och då först i skuggdrift bredvid medarbetarna en tid.
Hur många testfall behöver en AI-agent?
Tillräckligt många för att täcka det vanliga fallet och de besvärliga. För de flesta affärsprocesser handlar det om några dussin till några hundra gamla ärenden. De besvärliga fallen är viktigare än antalet.
Måste man testa igen när AI-modellen ändras?
Ja. En ny modellversion, en ändrad prompt eller en ny affärsregel kan ändra resultaten. Kör samma gamla ärenden igen efter varje ändring och jämför innan den går live.
