Det kan spaende ben for retssikkerheden, hvis maskinlaering og dataanalyse bruges uden omtanke

Mange opfatter beslutninger baseret på data som neutrale. En sag fra USA viser imidlertid, at det ikke altid er tilfaeldet, og at brugen af data i retsvaesenet kraever stor forsigtighed.

såkaldte ”anti-sociale” eller ”åndssvage” maend og ”seksuelt løsagtige” kvinder helt op til 1959.

Mange håbede, at diskriminationen ville forsvinde, når den ikke laengere var lovlig, men det skulle vise sig at vaere mere kompliceret end som så at komme den til livs.

I USA havde den racistiske lovgivning bevirket, at byerne var skarpt opdelte i sorte og hvide nabolag, og selv om bankerne begyndte at afvise lån baseret på postnummer i stedet for hudfarve, var resultatet det samme.

Compas-sagen viser, at digitaliseringen heller ikke har aendret afgørende ved problemet.

står vi overfor helt nye udfordringer, når vi skal undgå at traeffe diskriminerende beslutninger. Med maskinlaering skaber man nu programmer, der laerer at udføre en funktion på baggrund af mønstre i store datamaengder. Et godt eksempel er ansigtsgenkendelse, hvor et program traenes til at genkende folk ved hjaelp af store datasaet bestående af ansigter med tilhørende navne.

Et andet er den stemmegenkendelse ud fra store saet af lyd og tekst, som digitale assistenter som Apples Siri og Amazons Alexa bruger til at forstå én, når man taler til dem.

Med maskinlaering kan computeren dog også laere vores vaerste adfaerd, hvis den ikke er blevet bedt om at justere for det. Compas laerte for eksempel at mistaenkeliggøre bestemte befolkningsgrupper mere, fordi visse grupper i USA stadig har dårligere mulighed for at bryde ud af kriminalitet – et problem, som netop opstår i kølvandet på den diskrimination, de har lidt under, og som systemet så opfanger og viderefører.

Også ansigts- og stemmegenkendelse kan resultere i diskrimination. I de data, som maskinerne traenes med, ser og hører de vaesentligt flere hvide maend end andre befolkningsgrupper. Derfor har mange oplevet, at Siri og Alexa ikke forstår deres accent, eller at telefonen ikke kan genkende netop deres ansigter.

involverer nye risici, og teknologifirmaerne må ikke bare se passivt til. Når itfirmaer anvender store datasaet og nye maskinlaeringsteknikker, er de nødt til at overveje, hvilke beslutninger dataene leder til, og hvorvidt de er fair og i overensstemmelse med loven.

Den bedste måde at foretage en sådan vurdering er ved at inddrage de mennesker, der kommer til at maerke konsekvenserne af beslutningerne. Interesseorganisationer såsom fag- og patientforeninger samt Finanstilsynet, Forbrugerrådet og Institut for Menneskerettigheder er oplagte samarbejdspartnere, når fremtidens databaserede beslutningstagning skal designes.

Med brede tvaerfaglige samarbejder kan store, systemiske problemer fanges, før de når ud i samfundet – og gøre en teknisk hovedpine til et uetisk eller endda lovstridigt mareridt.

Anja Bechmann er professor på Medievidenskab og leder af Datalab ved Aarhus Universitet. Simon Enni er ph.d.-studerende på Datalogi og tilknyttet Datalab.