Automatiseringsbias
🇬🇧Automation BiasDefinisjon
Automatiseringsbias beskriver menneskers tendens til å favorisere og ukritisk akseptere resultater fra automatiserte systemer, selv når sanseinntrykk eller annen informasjon indikerer at systemet tar feil. Dette fenomenet oppstår fra et grunnleggende prinsipp om kognitiv økonomi: Hjernen søker kontinuerlig å redusere mental anstrengelse. Å delegere en oppgave til en algoritme eller en maskin frigjør kognitive ressurser, men prisen er ofte redusert situasjonsbevissthet og en nedjustering av vår egen kritiske tenkning.
Biasen er ikke bare en passiv tillit, men en aktiv nedvurdering av informasjon som strider mot systemets konklusjon. Mekanismen innebærer en overgang fra å være en aktiv operatør i en beslutningssløyfe til å bli en passiv overvåker av et system man antar er overlegent. Forskning innen menneske-maskin-interaksjon, blant annet av sentrale forskere som Raja Parasuraman, har vist at denne kognitive avlastningen er mest risikabel i komplekse situasjoner med høyt arbeidspress, der fristelsen til å stole på den «enkle» teknologiske løsningen er størst.
Virkelig eksempel
Et tragisk og veldokumentert eksempel på automatiseringsbias er ulykken med Air France Flight 447 i 2009. Da flyets autopilotsystem uventet koblet seg ut under en storm over Atlanterhavet, ble pilotene konfrontert med en manuell styringsoppgave de ikke lenger var trent for i praksis. Til tross for at instrumentene viste korrekt basisinformasjon – at flyets nese pekte for bratt oppover og at hastigheten falt dramatisk – klarte ikke mannskapet å tolke situasjonen korrekt. De hadde i så stor grad vent seg til at systemet fungerte, at de feiltolket de rå dataene da de plutselig selv satt med ansvaret.
Den franske flyhavarikommisjonen (BEA) konkluderte i sin endelige rapport (2012) med at en vedvarende avhengighet av automatisering hadde svekket pilotenes evne til å gjenkjenne og reagere på en fundamental aerodynamisk stall. I en mer hverdagslig skala ser vi det samme prinsippet utspille seg når en sjåfør blindt adlyder en GPS som gir absurde anvisninger, som å kjøre ned en trapp eller ut i et vann, i direkte konflikt med hva sjåføren ser med egne øyne.
Supplerende perspektiv
Automatiseringsbias er nært beslektet med, men bør skilles fra, et annet fenomen: «automatiseringssløvhet» (fra eng. *automation complacency*). Mens biasen er den *aktive* feilhandlingen der man velger systemets råd over egen vurdering, er sløvheten den *passive* tilstanden av redusert årvåkenhet og overvåking som oppstår over tid. Sløvheten er grobunnen for biasen; fordi vi slutter å følge aktivt med, blir vi dårligere rustet til å fange opp feil når de først skjer.
Begge deler forsterkes av autoritetsskjevhet, der vi tillegger teknologi en form for objektiv og overmenneskelig autoritet. Systemets «stemme» blir upartisk og korrekt, mens vår egen vurdering oppleves som subjektiv og feilbarlig.
Praktiske råd
Gjenkjenne
- —Legg merke til om du ignorerer egne vurderinger når et system gir et annet svar.
Motvirke
- —Bruk automatiserte systemer som støtte, ikke fasit.
- —Tren på manuell vurdering og krev forklarbarhet der det er mulig.
Bruke etisk
- —Design systemer som inviterer til menneskelig kontroll og kritisk vurdering.
- —Gjør begrensninger og usikkerhet i algoritmer tydelige for brukerne.