Human in the loop – eller trykker du bare OK?
Når AI begynner å handle – artikkel 2
AI har skrevet svaret, vurdert saken og gjort handlingen klar. Du skal kontrollere og trykke «OK». På papiret har virksomheten fortsatt kontroll. Men hva kontrollerer du egentlig?
Det ser betryggende ut.
AI gjør jobben, men ingenting skjer før du har godkjent.
En e-post sendes ikke før du har sett den. En faktura går ikke videre før du har kontrollert forslaget. En endring i et system gjennomføres ikke før du trykker «Godkjenn».
Du er fortsatt med.
Human in the loop.
Men det er stor forskjell på å være plassert i arbeidsflyten og å ha et reelt grunnlag for å stoppe det AI foreslår.
Hvis AI har samlet informasjonen, gjort vurderingen, formulert svaret og foreslått handlingen, kan rollen din til slutt bli redusert til ett spørsmål:
«Skal jeg trykke OK?»
Da bør virksomheten spørre om den har reell menneskelig kontroll – eller bare et godkjenningsklikk.
Godkjenning er ikke det samme som kontroll
Vi bruker godkjenning som kontrollmekanisme i mange deler av virksomheten.
En person forbereder. En annen kontrollerer. Den andre skal kunne oppdage feil, stille spørsmål og stoppe handlingen.
Kontrollen virker fordi den som godkjenner, gjør en selvstendig vurdering.
Når AI kommer inn i arbeidsflyten, kan dette se likt ut på skjermen. AI foreslår. Du godkjenner.
Men den reelle arbeidsdelingen kan være en annen.
AI kan ha lest hundre dokumenter, sammenstilt opplysninger, vurdert alternativer og presentert én anbefaling. Du ser kanskje bare anbefalingen og en kort forklaring.
Formelt tar du beslutningen.
I praksis kan det være vanskelig å gjøre annet enn å følge forslaget.
Da er ikke spørsmålet om du har trykket på knappen. Spørsmålet er om du hadde et reelt grunnlag for å si nei.
Godkjenningsillusjonen
Her oppstår det jeg vil kalle godkjenningsillusjonen.
Virksomheten opplever at kontrollen er ivaretatt fordi systemet krever en godkjenning. Men godkjenningen kan ha mistet innholdet sitt.
Det kan skje gradvis.
De første gangene leser medarbeideren nøye. Forslaget sammenlignes med grunnlaget. Formuleringer justeres. Avvik undersøkes.
Så viser AI seg å treffe godt.
Forslagene er riktige igjen og igjen. Kontrollen går raskere. Etter hvert blir godkjenningen en vane.
Se over. Trykk OK. Neste.
Det er ikke nødvendigvis uttrykk for slurv. Det er en forutsigbar reaksjon når en kontroll gjentas ofte og nesten aldri avdekker feil.
Problemet viser seg den dagen AI tar feil på en måte som ikke er åpenbar.
Da kan virksomheten ha en godkjenner i arbeidsflyten uten å ha reell menneskelig kontroll.
Når AI gjør kontrollen vanskeligere
En god kontroll krever at den som godkjenner, kan forstå både forslaget og grunnlaget det bygger på.
Det blir krevende når AI har gjort mer av forarbeidet enn du rekker å etterprøve.
Tenk deg at AI foreslår et svar til en kunde.
Svaret virker godt formulert. Tonen er riktig. Det viser til tidligere dialog og foreslår en løsning.
For å kontrollere svaret ordentlig må du kanskje lese hele korrespondansen, kontrollere avtalen, forstå kundehistorikken og vurdere om formuleringen innebærer et løfte virksomheten ikke har ment å gi.
Hvis du gjør alt dette, forsvinner mye av tidsbesparelsen.
Hvis du ikke gjør det, blir kontrollen grunnere.
Det samme kan skje når AI foreslår behandling av en faktura, en endring i kundedata eller en prioritering i en arbeidsprosess. Jo mer av vurderingsgrunnlaget som ligger inne i systemets arbeid, desto vanskeligere kan det bli for deg å gjøre en selvstendig kontroll til slutt.
Et godkjenningspunkt kan derfor se sterkere ut enn det er.
Den som godkjenner, må vite hva som skal kontrolleres
«Kontroller AI-forslaget» er ikke en tydelig kontrolloppgave.
Hva skal medarbeideren se etter?
Faktiske feil? Manglende informasjon? Brudd på avtaler? Uønskede løfter? Feil mottaker? Opplysninger som ikke skal deles? En vurdering som ligger utenfor rammen AI fikk?
Hvis kontrolloppgaven er uklar, blir resultatet lett en generell vurdering av om forslaget ser greit ut.
Det er en svak kontroll.
Et velformulert svar kan være feil. En ryddig anbefaling kan bygge på mangelfull informasjon. En handling kan være teknisk korrekt, men uønsket i den konkrete situasjonen.
Derfor må virksomheten definere hva kontrollen skal tilføre som AI ikke allerede har gjort.
Hvis dette ikke kan beskrives konkret, er det vanskelig å vite om godkjenningen faktisk fungerer som et kontrollpunkt.
Fire krav til reell menneskelig kontroll
Et godkjenningspunkt har etter min vurdering først verdi når fire forhold er oppfylt.
1. Du forstår konsekvensen
Du må forstå hva som faktisk skjer etter klikket. Skal noe sendes, endres, bestilles, registreres eller gjøres tilgjengelig for andre?
2. Du kan se grunnlaget
Det holder ikke å se AI-ens konklusjon. Du må kunne se opplysningene, forutsetningene og grensene som er nødvendige for å vurdere forslaget.
3. Du vet hva du skal kontrollere
Kontrollen må ha et formål. Du må vite hvilke feil, avvik eller konsekvenser den skal fange opp.
4. Du kan faktisk stoppe handlingen
Det må være praktisk og legitimt å avvise, endre eller undersøke nærmere. Hvis tempo, måltall eller arbeidsmengde gjør det nærmest umulig å stoppe, er godkjenningsretten mest formell.
Dette er ikke først og fremst krav til AI.
Det er krav til hvordan virksomheten utformer arbeidsprosessen rundt AI.
Det samme skillet finnes i artikkel 14 i EUs AI-forordning. For høyrisikosystemer skal den som er satt til å føre kontroll, blant annet kunne forstå systemets muligheter og begrensninger, være oppmerksom på faren for automatisk å stole på resultatet, tolke resultatet riktig og kunne overstyre eller stoppe systemet.
Disse kravene gjelder høyrisikosystemer som omfattes av forordningen. Men de illustrerer et mer generelt poeng: Et godkjenningsklikk er ikke reell kontroll dersom den som godkjenner, mangler forståelse, grunnlag eller faktisk mulighet til å gripe inn.
Flere godkjenninger gir ikke nødvendigvis bedre kontroll
Når virksomheten blir usikker, er det nærliggende å legge inn flere kontrollpunkter.
Flere handlinger skal godkjennes. Flere varsler skal vises. Flere bokser skal krysses av.
Det kan virke tryggere.
Men mange små godkjenninger kan svekke oppmerksomheten rundt de få som virkelig betyr noe.
Når medarbeideren blir bedt om å godkjenne hele tiden, lærer systemet personen at «OK» vanligvis er riktig svar.
Den viktigste oppgaven er derfor ikke å plassere en person etter hver eneste AI-handling. Den er å finne de punktene hvor en selvstendig vurdering faktisk kan endre utfallet.
Kontrollen bør ligge der konsekvensen er vesentlig, situasjonen krever skjønn, eller AI mangler en del av sammenhengen den som godkjenner, forventes å forstå.
Da kan virksomheten bruke medarbeidernes oppmerksomhet der den har verdi, i stedet for å spre den over en lang rekke rutineklikk.
Kontroller kontrollen
Virksomheter følger gjerne med på hvor mye AI sparer av tid, hvor raskt oppgaver blir løst, og hvor ofte forslag blir godkjent.
Men en høy godkjenningsandel forteller ikke nødvendigvis at AI fungerer godt.
Den kan også fortelle at medarbeiderne har sluttet å kontrollere.
Derfor bør virksomheten undersøke selve godkjenningspunktet:
- Hvor ofte endrer medarbeiderne AI-forslaget?
- Hvor ofte blir en handling stoppet?
- Hvilke typer feil blir faktisk oppdaget?
- Har den som godkjenner, sett grunnlaget eller bare konklusjonen?
- Hvor lang tid har personen realistisk til å vurdere saken?
- Vet medarbeideren hvilke forhold kontrollen skal fange opp?
Poenget er ikke at det må være mange avslag for at kontrollen skal være reell. Poenget er at virksomheten må vite om kontrollen fungerer som forutsatt.
NISTs rammeverk for AI-risikostyring anbefaler at prosesser for menneskelig kontroll defineres, vurderes og dokumenteres. NIST peker også på at det kan være nyttig å undersøke hvor ofte AI-forslag overstyres, og hvorfor. Det er nettopp kontrollen av kontrollen.
Å være med i arbeidsflyten er ikke nok
«Human in the loop» høres ut som en løsning.
Begrepet beskriver at en person er plassert inne i arbeidsflyten. Det sier ikke om den som godkjenner, ser grunnlaget, forstår konsekvensen eller faktisk kan stoppe handlingen.
Reell menneskelig kontroll krever mer enn en knapp.
Den som godkjenner, må forstå konsekvensen, ha tilgang til grunnlaget, vite hva som skal kontrolleres og ha mulighet til å gjøre en annen vurdering enn AI.
Hvis ikke, blir godkjenningen lett et ritual som gjør virksomheten tryggere på papiret, men ikke i praksis.
Det avgjørende spørsmålet er derfor ikke:
«Krevde systemet at noen trykket godkjenn?»
Det er:
«Hadde den som godkjente, en reell mulighet til å oppdage at AI tok feil – og til å stoppe det som skulle skje?»
Hvis svaret er nei, har virksomheten kanskje ikke human in the loop.
Den har bare noen som trykker OK.
