Kopf des Tages
In einer zunehmend digitalen, vernetzten Welt spielen Algorithmen nahezu überall eine Rolle. Weil sie von Menschen entwickelt und angewandt werden, können sich darin auch deren Vorurteile wiederfinden.
Wegen eines kritischen Postings auf Facebook klagt der österreichische Waffentycoon Gaston Glock eine SPÖ-Abgeordnete.
Der Einfluss algorithmischer Systeme reicht in immer mehr Gesellschaftsbereiche, sie prägen unsere kulturellen und sozialen Erfahrungen. Schwierig wird es, wenn die Qualität der Algorithmen – und Daten, mit denen sie arbeiten – oder die Zwecke und Kontexte, in denen sie verwendet werden, nicht angemessen sind. Vor Diskriminierungsrisiken wird längst gemahnt. Jüngstes Beispiel: Ein Programm, das die Bewerbungsverfahren bei Amazon erleichtern sollte, stufte aufgrund der Daten, aus denen es lernte, Frauen schlechter ein als Männer; es wurde deshalb eingestellt. Die Liste solcher und ähnlicher Fälle ist lang. Aber woran liegt es, dass die angeblich so neutrale Technik so problematische Resultate liefert?
Algorithmische Systeme entstehen nicht in einem Vakuum. Ihre Funktionsweisen und Einsatzzwecke sind sozial konstruiert. Und weil sie von Menschen entwickelt und angewandt werden, können sich in diesen Systemen genau jene sozial, kulturell oder politisch gefärbten Vorurteile wiederfinden, die man durch raffinierte Rechenmodelle eigentlich ausschließen wollte. Entscheidungen darüber, was ein Algorithmus tut, welche Daten er verarbeitet oder wie er Ergebnisse darstellt, sind nicht nur technisch, sondern beruhen auch auf Werturteilen der Entwickler. Auch Interessen von Technologiekonzernen können zu systematischen Verzerrungen beitragen. Doch selbst wenn ein Algorithmus möglichst neutral programmiert wird und fehlerfrei funktioniert, muss das nicht bedeuten, dass er bessere Ergebnisse hervorbringt. Denn auch die Daten, mit denen ein Programm arbeitet, können unvollständig oder fehlerhaft sein. Oder sie enthalten wie beim Beispiel Amazon historisch bedingte Verzerrungen, die vom System mitgelernt werden. Und dann wären da noch jene Personen, die auf Grundlage algorithmischer Empfehlungen Entscheidungen treffen sollen. Das tun sie nicht losgelöst von eigenen Einstellungen oder bestimmten Leitlinien und Zielvorgaben. Damit entsteht eine Endlosschleife, in der Ungleichheiten nicht beseitigt, sondern sogar noch verstärkt werden können – wenn es niemand prüft.
Mangelnde Transparenz
Diese Gemengelage an menschlichen und technischen Fehlbarkeiten kann dazu führen, dass Algorithmen systematisch unfair sind. Neben der unmittelbaren Diskriminierung aufgrund von Merkmalen wie Alter, Geschlecht, Ethnie oder sexuelle Orientierung können Algorithmen auch mittelbar dazu führen, dass Menschen sozial oder ökonomisch benachteiligt werden. Das wäre der Fall, wenn sich neutral anmutende Regeln vor allem auf bestimmte Gruppen auswirken, weil diese zum Beispiel in einem bestimmten Stadtteil wohnen. Das Perfide daran: Die Betroffenen erfahren selten, dass Entscheidungen über sie auf der Grundlage algorithmischer Risikoanalysen oder Empfehlungen getroffen wurden. Dadurch ist es schwierig, negative Folgen nachzuweisen und anzufechten. Zugleich gelten Empfehlungen algorithmischer Systeme oft als objektiver und rationaler, sprich: verlässlicher als menschliche Urteile und werden seltener hinterfragt. Dabei wissen die meisten Anwender kaum etwas über Funktionsweise oder Zusammensetzung der Daten, aus denen die Software eine Ausgabe generiert.
Ob es fair ist, wenn ich aufgrund meines Datenprofils höhere Flugpreise als andere angeboten bekomme, darüber lässt sich streiten. Doch dort, wo es um das Gemeinwohl und gesellschaftliche Teilhabe, individuelle Entfaltungsmöglichkeiten oder Grundrechte geht, wiegen systematische Fehlprognosen und (unbeabsichtigte) Folgen unausgewogener Systeme besonders schwer. Der AMS-Fall zeigt: Es geht um weit mehr als eine spezifische Software. Es steht die Frage im Raum, ob der Einsatz solcher Systeme zur Beurteilung von Menschen, wo nicht nur nackte Zahlen und statistische Wahrscheinlichkeiten eine Rolle spielen, überhaupt ethisch vertretbar und gesellschaftlich wünschenswert ist und wie wir dafür Sorge tragen können, dass demokratische Werte und fundamentale Rechte nicht unterminiert werden. Diese Debatte geht uns alle an, gerade in politisch brisanten Zeiten.
NELE HEISE ist Medienforscherin und wissenschaftliche Beraterin im Projekt „Anna – Das vernetzte Leben“von iRights e. V., Berlin.