Algoritmer kan smadre dit liv
NYHEDSANALYSE: Hemmelig computerkode har enorm magt i samfundet
Der rejste sig i sidste uge en regulær shitstorm mod Apple og firmaets kreditkort, Apple Card.
Ifølge blandt andre den danske techiværksætter David Heinemeier Hansson og Apple- medstifteren Steve Wozniak diskrimerer kortet mod kvinder.
For mens de to mænd fik en meget høj kreditvurdering, da kortet blev udstedt, fik deres hustruer en markant mindre. Og de mener, at skurken er den algoritme, der beslutter, hvor høj en kredit man kan få.
Uretfærdige domstole
Indtil videre afviser Apple via sin bank, Goldman Sachs, at algoritmen til at fastsætte kreditgrænser diskriminerer. Og sagen er da også i den absolut ’ bløde ende’, når vi taler om algoritmer.
Flere tidligere sager med den avancerede computerkode, som en algoritme er, afslører nemlig, at der kan smadres liv, når algoritmerne og ikke mennesker har magten.
I USA er det således computerkode, der i en række af stater er med til at beslutte, om en anholdt skal blive i fængslet, indtil dommen afsiges. Eller om vedkommende kan løslades mod en kaution.
Når dommen senere afsiges, er algoritmer også med
Og når dommen senere afsiges, er algoritmer også med til at afgøre, hvor hård den skal være. Ifølge en kulegravning, som flere medier har foretaget, er problemet, at algoritmen er både racistisk og uretfærdig, hvad angår fattige.
For selvom statistikken objektivt viser, at fattige dømte oftere falder tilbage i kriminalitet, så siger det meget lidt om, hvor kriminel den enkelte person er.
Og mere om at fattigdom fører til kriminalitet, fordi der ikke er andre muligheder, mener kritikere af algoritmen.
Retter elevers opgaver
Svaret på den kritik kunne så være, at fattige bare kan tage sig en uddannelse. Men også her kan algoritmer spænde ben for sorte og andre, der ikke har netop den baggrund, som algoritmen belønner.
For at spare penge har amerikanske skoler nemlig udviklet et computersystem, der retter elevernes opgaver.
Data viser, at netop sorte og andre befolkningsgrupper konstant bedømmes hårdere og til en lavere karakter, end hvis det var et menneske, der havde rettet opgaverne.
– Problemet er, at partiskhed er et mønster, som de her computersystemer er i stand til ’ at lære’, siger
Emily M. Bender, der er professor i digital lingvistik, til techmediet Motherboard.