AI och beslutsfattande
Tanken här är inte att bli flummig eller filosofisk. Snarare är tanken att uppmärksamma något som inte fått tillräckligt med utrymme när användningen av AI och generativ AI blir allt vanligare inom alla typer av verksamheter. Många företag och organisationer som ligger i framkant befinner sig i en fas där AI och generativ AI har testats i verksamheten och förmodligen även utvärderats och vidareutvecklats. Förhoppningsvis har utvärderingen visat att AI-användningen har skapat faktiskt mervärde och att det finns stora möjligheter att effektivisera verksamheten ännu mer. Effektivitetsfokuset är självklart; den är en så kallad lågt hängande frukt. Och för de som vill fortsätta ligga i framkant finns inte mycket utrymme att skifta eller bredda fokuset.
En aspekt som verksamheter absolut inte bör ta genvägar kring är dock när AI eller generativ AI är tänkt att användas vid beslutsfattande, eller som en del av en beslutsprocess. Här finns det nämligen för många viktiga och svåra frågor att ställa sig och reda ut, och det kan bli oerhört kostsamt att låta bli. Naturligtvis är det särskilt viktigt för verksamheter inom den offentliga sektorn, men ingen verksamhet har egentligen råd att hoppa över dom.
Vad är det AI ska göra?
AI-verktyg som bestämmer räntesatser på individnivå eller för att bedöma individers kreditvärdighet är exempel på användning där beslutsfattande kan sägas vara en del av det som verktyget ska utföra. Ytterligare exempel kan vara när AI-verktyg används som ett urvalsverktyg i samband med rekryteringar. Den gemensamma nämnaren här är att ett AI-verktyg ägnar sig åt något slags beslutsfattande på individnivå, vilket i sin tur gör att det finns all anledning att ställa sig frågor kring om det för den enskilde individen finns tillräcklig transparens och förutsägbarhet.
Det här är naturligtvis en grundläggande utmaning vid användning av alla former av AI. Till skillnad från AI är dock dilemmat med bristen på transparens allt annat än ny. Det är nästan kusligt hur mycket användning av AI-verktyg vid beslutsfattande påminner om den situation som Josef K ställs inför i Processen – en bok som påpassligt nog fyller 100 just i år.
Till en början behöver verksamheten fråga sig – vilka typer av beslut som kan sägas påverka individer fattas inom vår verksamhet? Och med individer menas både kunder och medarbetare. Förmodligen är svaret ”en hel del”. I juridikens värld anses beslut typiskt sett vara någon form av handlingsdirigerande uppmaning som baserar sig på en tillämpning av på förhand uppsatta regler; det är ett uttryck för vad som kommer eller kan komma att hända, och som i sin tur påverkar en individ eller en grupp av individer på något sätt. Även om påverkan på individnivå kan variera så fattas den typen av beslut inom i stort sett alla verksamheter – inom företag och särskilt inom den offentliga sektorn. Om någon form av AI ska vara involverad i den processen finns det därför en mängd vettiga följdfrågor att ställa sig innan så görs.
Automatiserat beslutsfattande
I takt med teknikutvecklingen har så kallat automatiserat beslutsfattande blivit allt vanligare. Ett automatiserat beslutsfattande kännetecknas av att det är en maskin som programmerats att fatta en viss typ av beslut som berör en individ på något sätt. Den här typen av beslutsfattande är numera relativt vanlig inom den offentliga förvaltningen och regleras bl.a. i förvaltningslagen. Även om det är många parametrar som ska beaktas vid ett sådant beslutsfattande är ramarna fasta; själva poängen är att det inte finns något utrymme för maskinen att avvika från de regler som satts upp, att kunna skapa något nytt eller att kunna vara kreativ. Även om det är en maskin som faktiskt fattar beslutet är alltså hela processen vid automatiserat beslutsfattande från början till slut skapad, kontrollerad och kvalitetsgranskad av människor.
Som vi skrivit om i den här artikeln lanserade Myndigheten för Digital Förvaltning, DIGG, i samarbete med Integritetsskyddsmyndigheten, IMY, riktlinjer vid användning av AI inom den offentliga förvaltningen. Riktlinjerna verkar ha blivit väl mottagna och har uppmärksammats på olika sätt. Vi skriver mycket mer matnyttigt om AI-regler i vår kvartalsvisa rapport AI Policy & Compliance Watch.
I riktlinjerna görs dock ett tydligt ställningstagande som kan vara värt att uppmärksamma lite extra oavsett vilken typ av verksamhet som bedrivs. Och det är att riktlinjerna anger att AI-verktyg inte är lämpliga att använda för att fatta någon typ av beslut som på något sätt berör individer, och att den typen av beslutsfattande inte är ett sådant automatiserat beslutsfattande som är lagligt enligt förvaltningslagen. För tydlighets skull kan det vara värt att understryka att det alltså enbart handlar om situationen att det är AI-verktyget som fattar själva beslutet, inte att ett sådant verktyg används som en del av ett beslutsunderlag.
Varför väljer DIGG att så tydligt påpeka att AI-verktyg inte bör användas när beslut ska fattas som berör enskilda? För det första, den enorma mängd data som sådana verktyg har tränats på innebär att det är omöjligt att kontrollera eller säkerställa kvaliteten på träningsdatan. Redan här finns det alltså ett gigantiskt svart hål som förhindrar transparens, förutsägbarhet och kvalitetskontroll. För det andra finns det dessutom ytterligare ett svart hål som består av den information som verktyget sedan använder för att generera beslutet. Det anses alltså inte vara möjligt att följa eller kontrollera beslutsfattandet från början till slut på ett tillräckligt bra sätt. Av den anledningen anses det vara olämpligt att fatta beslut som berör individer med AI-verktyg eftersom det inte är möjligt för vare sig individen eller verksamheten att säkerställa, alltså kontrollera, ifrågasätta eller angripa, att beslutsprocessen är korrekt och rimlig. Du, jag och Josef K ska alltså inte behöva acceptera den typen av beslut.
Gyllene regler
Visserligen är det möjligt att låta ett AI-verktyg fatta ett beslut som sedan får genomgå mänsklig kvalitetskontroll. Då förloras dock en hel del av effektivitetsvinsterna med att använda den typen av verktyg. Här är det därför bäst att tydligt separera beslutsfattandet från själva användningen av verktyget, och i sådana fall enbart använda AI-verktyg som en del av, och stöd för, beslutsfattandet. Hur och på vilket sätt någon form av AI-verktyg kan ingå som en del av en beslutsprocess är även det en fråga som behöver övervägas noga inom alla verksamheter. För trots allt nytt finns en massa gyllene regler som fortfarande gäller. Att tänka först och agera sen är en av dom. Så slipper du, jag och andra råka ut för Josef K:s öde.
