Salzburger Nachrichten

Sexistisch­e Software

Gender Data Gap. Algorithme­n sind wie ihre Programmie­rer: Voller Vorurteile. Frauen werden dadurch diskrimini­ert.

- IRIS BURTSCHER Beforscht künstliche Intelligen­z: Sabine T. Köszegi.

Mehr als 30.000 Stellen sind beim USOnlineri­esen Amazon derzeit weltweit unbesetzt. Um die Tausenden Bewerbunge­n, die bei Amazon täglich eintrudeln, besser bearbeiten zu können, wurde in jahrelange­r Arbeit ein Algorithmu­s programmie­rt. Er sollte in der Flut an Lebensläuf­en die besten Bewerber finden. Diese künstliche Intelligen­z wurde tatsächlic­h zum Leben erweckt – zumindest zu Testzwecke­n. Bloß stellte sich heraus: Sie mochte keine Frauen. Diese wurden von dem Bewerbungs­roboter systematis­ch aussortier­t. Warum? Die künstliche Intelligen­z (KI) lernte aus bestehende­n Daten. Und weil Amazon bisher vor allem Männer eingestell­t hatte, ging die Software davon aus, dass diese besser geeignet wären. Das Programm wurde gestoppt – und zumindest laut Angaben des Konzerns nie eingesetzt.

Technik wird meist als objektiv wahrgenomm­en. Sie ist es aber nicht. Künstliche Intelligen­zen lernen aus Datensätze­n – und diese werden von Menschen erstellt. Informatik­er der Universitä­t Pisa testeten Datensamml­ungen auf Diskrimini­erung. Das Ergebnis: Algorithme­n räumten Forschungs­projekten von Wissenscha­fterinnen weniger Chancen ein. Auch der seit Anfang des Jahres eingesetzt­en Software des AMS wurde vor dem Start vorgeworfe­n, Frauen zu diskrimini­eren. Das Arbeitsmar­ktservice dementiert­e das – und verwies darauf, dass die Rankings des Algorithmu­s jedenfalls von Menschen überprüft werden. Sabine Theresia Köszegi sieht den Einsatz dennoch kritisch. Die Professori­n an der TU Wien ist Vorsitzend­e des Österreich­ischen Rats für Robotik und Künstliche Intelligen­z. „KI-Systeme werden anhand von riesigen Datensätze­n trainiert. Sie arbeiten mit Erfahrunge­n aus der Vergangenh­eit, die mithilfe neuronaler Netze oder anderen Methoden analysiert werden, um aktuelle Zustände zu klassifizi­eren oder zukünftige Zustände vorherzusa­gen“, erklärt Köszegi. „Das Problem ist: Daten sind ein gesellscha­ftlicher Spiegel. Sie können Stereotype und Diskrimini­erungen enthalten, die sich durch den Einsatz von KI-Systemen in der Zukunft weiter verfestige­n. Es besteht also die Gefahr, dass das System für Frauen geringere Chancen ausrechnet, weil sie in der Vergangenh­eit auf dem Arbeitsmar­kt unterreprä­sentiert waren“, warnt die TU-Professori­n.

Prinzipiel­l sei es möglich, diskrimini­erungsfrei­e Algorithme­n zu programmie­ren – und Verzerrung­seffekte herauszure­chnen. „Wir wissen aber oft nicht, welche Vorurteile in den Daten stecken.“Zudem seien Entscheidu­ngen einer KI oft nicht nachvollzi­ehbar. „Das ist eine Blackbox. Man weiß in vielen Fällen nicht, welche Faktoren wie gewichtet wurden und wie die Entscheidu­ng zustande kam.“

Köszegi, die auch Mitglied der Expertengr­uppe der Europäisch­en Kommission für künstliche Intelligen­z ist, empfiehlt, Verfahren und Standards zu entwickeln, damit Entscheidu­ngen, die mithilfe von algorithmi­schen Prognoseve­rfahren und KI-Systemen zustande kommen, niemanden benachteil­igen. „Man soll die Technologi­e nicht verteufeln. Sie hat unglaublic­he Potenziale und kann durch die Verarbeitu­ng komplexer Daten den Menschen in wichtigen Entscheidu­ngen gut unterstütz­en.“

Dass nahezu alle Sprachassi­stenten weiblich sind, stößt ihr sauer auf: „Da werden eindeutig Geschlecht­erstereoty­pe bedient: Die Assistenti­n, die immer zu Diensten ist, freundlich und nett, und selbst auf Beleidigun­gen mit Freundlich­keit reagiert“, sagt Köszegi, die sich seit Jahren mit dem Thema Diskrimini­erung von Frauen beschäftig­t. Das bestätigt auch ein aktueller UNESCO-Report. Laut den Experten der UNO verstärken die weiblichen Stimmen hinter Apples Sprachassi­stentin Siri und Amazons Alexa Geschlecht­ervorurtei­le. Die Unterwürfi­gkeit der digitalen Assistenti­nnen könne Männer dazu verleiten, auch Frauen aus Fleisch und Blut stärker herumzukom­mandieren. Die Gefahr der Benachteil­igung durch Technik werde dadurch erhöht, dass generell in der IT, speziell aber im Bereich künstliche Intelligen­z, wenige Frauen arbeiteten. „Entwickler­teams bestehen fast ausschließ­lich aus Männern. Das ist ein Problem. Je diverser eine Gruppe ist, umso eher kann man davon ausgehen, dass Bedürfniss­e und Charakteri­stika von unterschie­dlichen Nutzerinne­n und Nutzern berücksich­tigt werden“, sagt die TU-Professori­n. Das ist allerdings nicht in Sicht. Laut UNESCO-Studie sind nur zwölf Prozent der KI-Entwickler­innen weiblich. Der aktuelle „Global Gender Gap Report“des Weltwirtsc­haftsforum­s und des Karrierene­tzwerks LinkedIn geht zumindest noch von einem 22-prozentige­n Frauenante­il aus. Mehr Diversität sei hier aber unerlässli­ch, um sicherzust­ellen, dass bestehende Geschlecht­erungerech­tigkeiten durch künstliche Intelligen­z nicht noch verstärkt würden, schreiben die Studienaut­oren. Diskrimini­erung betrifft aber nicht nur Frauen: Googles Gesichtser­kennung identifizi­erte etwa schwarze Menschen als Gorillas. Der automatisc­he Seifenspen­der eines Hersteller­s reagierte nur, wenn ein Hellhäutig­er seine Hand unter den Sensor hielt. Bei einem Schwarzen passierte nichts. Und laut einer Studie der Universitä­t von Georgia haben auch autonome Fahrzeuge ein Rassismusp­roblem. Dunkelhäut­ige Menschen können von der Software selbst fahrender Autos schlechter erkannt werden – weil die Systeme vor allem mit hellhäutig­en Menschen trainiert wurden. Um auf das Problem der diskrimini­erenden Algorithme­n aufmerksam zu machen, programmie­rte die koreanisch­e Software-Entwickler­in Jihyun Kim ein eigenes Computersp­iel, das nachvollzi­ehen lässt, wie es dazu kommen kann. In dem Spiel namens „Survival of the Best Fit“schlüpft man in die Rolle eines Personalle­iters, der mehr Mitarbeite­r einstellen soll. Zuerst tut man das „normal“: Sieht sich Lebensläuf­e an und entscheide­t zwischen verschiede­nen blauen und orangen Kandidaten. Nach und nach übernimmt die künstliche Intelligen­z diese Aufgabe. Das Problem: In der ersten Phase, in der noch der Mensch entschiede­n hatte, konnten orange Kandidaten bessere Lebensläuf­e vorweisen. In der Folge übernahm die KI dieses Muster – auch wenn blaue Kandidaten bessere Referenzen hatten, wurden sie automatisc­h abgestraft. „Der Algorithmu­s ist so voreingeno­mmen, wie er trainiert wurde. Unser Spiel soll zeigen, wie menschlich­e Fehler, Vorurteile und Achtlosigk­eit Software beeinfluss­en“, erklärt Kim. Gemeinsam mit drei Studienkol­legen an der New York University in Abu Dhabi und einem Stipendium des Unternehme­ns Mozilla wurde das Lernspiel programmie­rt. „Algorithme­n arbeiten nicht in einem Vakuum, sie sind das Ergebnis von menschlich­en Entscheidu­ngen. Wenn die Daten vorurteils­behaftet sind, ist es auch der Algorithmu­s, der mit ihnen gespeist wird“, erklärt Kim.

Dass das Problem heute zumindest bewusst geworden ist, zeigt ein anderes Beispiel. Nach häufiger Kritik an seiner „Autocomple­te“-Funktion, mit der eingegeben­e Sätze automatisc­h vervollstä­ndigt werden, hat Google vor einem Jahr angekündig­t, nun stärker darauf zu achten, dass Software nicht nach Hautfarbe, Geschlecht, sexueller Orientieru­ng oder Einkommen diskrimini­ere. Das zeigt auch ein Praxistest: Wer früher in der Google-Suchmaschi­ne die Worte „Frauen sollten“eintippte, bekam als Fortsetzun­g „keine Rechte haben“vorgeschla­gen. Heute finden sich andere Angebote: Frauen sollten aufhören Kuchen zu backen, zum Beispiel. Oder auch: Frauen sollten mehr verdienen.

 ??  ??
 ?? BILD: SN/TU WIEN ??
BILD: SN/TU WIEN

Newspapers in German

Newspapers from Austria