Ansvarstestet

1979 satte IBM upp en overhead i en intern utbildning. Två maskinskrivna rader: en dator kan aldrig ställas till svars, därför får en dator aldrig fatta ett ledningsbeslut. Vi utgår från att det stämmer. Kedjan bakåt är tunn, men tyngden ligger inte i vem som sa det. Den ligger i vad det säger, och det som sägs är ett test varje ledare som inför AI kan köra den här veckan.

Slajden var ett resonemang, inte en slogan

De flesta citerar meningen och stannar där. Men sidan bakom, läst genom genomlysningen, definierar ett ledningsmandat i tre delar: befogenhet, ansvar och förmågan att ställas till svars. Sedan sätts ett värde på vart och ett. På det tredje, tillämpat på en dator, står ett svar i versaler: ingen som helst.

Argumentet är alltså inte att datorer är opålitliga. Det är att förmågan att ställas till svars är en förutsättning för att över huvud taget hålla ett mandat. Något som inte kan bära den kan inte hålla ett, hur gott dess omdöme än är. Det är inte ett påstående om sjuttiotalets hårdvara. Det är ett påstående om vad ett beslut är.

Själva testet

Här är den operativa versionen, och den ryms på en rad. För varje beslut du är på väg att lämna till en AI, fråga: när det här går fel, vem är ansvarig? Namnge personen. Om det ärliga svaret är ingen har du inte automatiserat ett beslut. Du har tagit bort den som svarar för det och lämnat en lucka där ansvaret satt.

Den luckan är där AI-satsningar går sönder i produktion, inte i demot. Demot fungerar. Luckan visar sig först den dag något går fel och alla i rummet ser sig omkring efter vem som äger det.

Förmåga är fel axel

Ledningsgrupper ställer samma fråga om och om igen: är modellen tillräckligt bra än? Det är fel fråga, för svaret försvagas varje kvartal. Varje ny modell är kapablare, så ett beslut som kändes för riskabelt att automatisera i fjol känns tryggt i år, och gränsen glider.

Ansvarsfrågan glider inte. En modell som blir dubbelt så kapabel blir inte hälften så ansvarig. Den blir exakt lika lite ansvarig som förut. Förmåga säger vad en AI kan göra. Ansvar säger vad den får besluta. Det är olika axlar, och bara den ena rör sig.

Var gränsen faktiskt går

Det här är delen vi tränar. Man drar inte gränsen en gång för "AI" i abstrakt mening. Man drar den beslut för beslut.

• Kartlägg besluten AI:n rör. Inte uppgifterna, besluten. En uppgift kan lämnas över fritt. Ett beslut har konsekvenser som landar på någon.
• Sortera vart och ett. Reversibelt och lågkonsekvens: låt AI:n köra, stickprova utfallet, gå vidare. Tillitsbärande, det vill säga pengar, säkerhet eller ett löfte till en kund: grinda det till en namngiven människa innan det får verkan.
• Gör grinden till en verklig person, senior nog att validera. En grind som stämplar automatiskt är ingen grind. Du kan inte godkänna det du inte förstår, så personen vid grinden måste kunna se när svaret är fel, inte bara att ett svar finns.
• Vägra den svarta lådan. Om en agent agerar och ingen äger det den gjorde är det inte effektivitet, det är ett oreglerat ansvar. Mönstret som håller, det seriösa operatörer landar i, är enkelt: människan förblir ansvarig för agenten, alltid, även när agenten gör det mesta av jobbet.

Inget av det här är en broms på AI. Kontrollpunkten är inte friktion för sakens skull. Det är ögonblicket då beslutet faktiskt fattas, av den som ska svara för det.

Travestierna de redan namngav

Samma sida från 1979 listade det den kallade travestier, förväxlingar att undvika. Två av dem läser sig märkligt väl idag: datorn som chef, datorn som gud. De förutsåg inte en modellarkitektur. De förutsåg förväxlingen att byta ut den som bär ett beslut mot det som beräknar det, och de kallade det ett kategorifel snarare än ett effektivitetsval.

Det är den förväxlingen testet är byggt att förhindra. Dra gränsen innan du inför, inte efter incidentgenomgången. Namnge människan. Då har systemet en ägare, och mandatet stannar där det hör hemma.

Personlig version (Lager 1): En dator kan aldrig ställas till svars. Relaterat: The AI Validation Imperative och Accountability levels.