Så undviker du att en company brain blir inaktuell
Att bygga en company brain är den enkla delen. Att hålla den rätt ett år senare är jobbet. Tio arbetssätt för regler, Owners, Conflicts och tester.
De flesta kunskapsprojekt misslyckas inte i början. Första månaden går bra: någon samlar ihop dokumenten, skriver ner de viktiga reglerna och kopplar en AI till dem. Sex månader senare har returpolicyn ändrats två gånger, två personer har slutat och AI:n citerar en version som ingen minns att de godkänt.
En company brain har samma problem som en wiki, fast värre, eftersom en AI upprepar en inaktuell regel med full säkerhet och i ditt namn. Här är arbetssätten som håller den rätt. Vi har samlat dem från vår egen uppsättning och från det som går fel hos andra team.
Att skriva regler
1. Ett beslut per regel, med ett skäl. ”Returer tas emot inom 30 dagar eftersom vår leverantör tar tillbaka varor inom 45.” Skälet gör två saker. Det hjälper AI:n att hantera fallet som regeln inte förutsåg, och det visar nästa Owner om regeln fortfarande håller när leverantörsavtalet ändras.
2. Regler, inte fakta. Dagens pris, en kunds adress eller vilken version som är driftsatt hör hemma i de system som redan håller dem. Hjärnan säger vad som gäller: vem som får ge rabatt, hur mycket och när man ska fråga. Blandar du ihop dem är hjärnan inaktuell redan på fredag.
3. Skriv undantaget bredvid regeln. Normalfallet är sällan där AI:n gör fel. ”Grossistkunder får 60 dagar” är meningen din support-AI behöver, och den saknas oftast. Samlar du in kunskap genom intervjuer, fråga efter det senaste fallet som inte följde normalen.
Ägarskap
4. En Owner per Topic, och det är en person. ”Supportteamet” kan inte godkänna något. Välj den som skulle få det arga telefonsamtalet om regeln var fel. När hen byter jobb är överlämningen av hens Topics en del av överlämningen, precis som nycklar och lösenord.
5. Ändringar går via Owner, rättelser också. När någon rättar AI:n i en chatt (”nej, vi lovar aldrig leveransdatum”) försvinner rättelsen oftast in i ett chattminne som ingen annan ser. Gör den i stället till en Proposal till Owner. När den är godkänd får alla verktyg den, inte bara det där rättelsen gjordes.
Hålla det konsekvent
6. Låt Conflicts synas, släta inte över dem. När två regler säger emot varandra ska båda Owners se det, och ingen ska vinna på förhand. De kan ersätta den ena regeln med den andra, begränsa den ena till ett specialfall, slå ihop dem eller avgöra att det inte var en riktig Conflict. Det de inte ska göra är att låta båda ligga kvar och låta AI:n välja.
7. Ersätt regler, radera dem inte. Varje regel får en version och ett datum från vilket den gäller. När den ändras markeras den gamla versionen som ersatt. Då kan du fortfarande svara på frågan som dyker upp i varje reklamation: vad sa AI:n till den här kunden i mars, och stämde det då?
8. Markera det som inte är godkänt ännu. Många regler används redan innan någon formellt har godkänt dem. Att dölja det hjälper inte. Märk de reglerna överallt där de syns, också i AI:ns svar, och granska dem i omgångar. Ett ärligt ”18 av 60 regler godkända” slår en hjärna som bara ser färdig ut.
Kontrollera att det fungerar
9. Ge viktiga regler ett testfall. Skriv ner en realistisk fråga och vad ett bra svar måste innehålla. ”Kund vill returnera en öppnad vara efter 40 dagar” → svaret hänvisar till gränsen på 30 dagar och lovar inget undantag. Kör de fallen varje gång en regel ändras och varje gång du byter eller uppgraderar en AI-modell. Så får du reda på att den nya modellen läser dina regler annorlunda innan en kund gör det.
10. Gör varje svar spårbart. När ett svar ser fel ut måste du kunna se vilken regel, i vilken version, AI:n använde. Utan det spåret gissar du vilket dokument den hittade. Med det rättar du en regel en gång och alla verktyg får rättelsen.
Så ser du att det fungerar
Du behöver ingen instrumentpanel för det. Tre frågor räcker:
- Rättar folk fortfarande AI:n på samma punkt mer än en gång?
- Ger två verktyg samma svar på samma fråga?
- Hur lång tid tog det förra gången en regel ändrades innan varje AI följde den?
Är svaren ”sällan”, ”ja” och ”samma dag” gör hjärnan sitt jobb. Annars handlar det oftast om en av de tio punkterna ovan, för det mesta ett Topic utan en riktig Owner.
Börja smått
Inget av det här kräver en stor utrullning. Välj ett Topic, utse dess Owner, skriv de tjugo viktigaste reglerna med ett skäl var och lägg till tre testfall. Koppla varje AI-verktyg du använder till den enda källan, inte till kopior av den. Låt det sedan rulla en månad och räkna rättelserna.
Det är den uppsättning vi bygger med CtxCore Brain: Owners godkänner, Conflicts dyker upp av sig själva, viktiga regler har testfall och varje svar visar vilka regler det följde. Vad vi lärde oss av att bygga den på oss själva står i Vad vi lärde oss av en company brain på oss själva.