Alle Macht der Maschine
Welche Gruppen von Arbeitslosen sollen gefördert werden, welche nicht? In welchen Familien sind Kinder in Gefahr, vernachlässigt zu werden? Fragen dieser Art versucht man immer öfter über automatisierte Systeme zu klären. Auch in Österreich. Wenn Algorith
Stellen Sie sich vor, Sie suchen einen Job. Das Unternehmen, bei dem Sie sich bewerben, sagt Ihnen, dass das Bewerbungsverfahren viel einfacher wird, wenn Sie den Nutzernamen und das Passwort Ihres persönlichen E-Mail-Kontos übermitteln. Dann könnten nämlich Ihre E-Mails analysiert werden, um daraus ein Persönlichkeitsprofil zu erstellen. Sie müssen keinen komplizierten Fragebogen ausfüllen, denn das ist langweilig und auch viel weniger zuverlässig, als Ihre Mails auszuwerten, denn die sind viel schwieriger zu manipulieren. Am Ende gewinnen alle: das Unternehmen, weil es viel exaktere Bewerbungsprofile bekommt und damit passendere Mitarbeiter, Sie, weil Sie weniger Arbeit haben und einen Job finden, der besser zu Ihnen passt, und die Firma, die das Analysesystem anbietet, denn sie kann damit viel Geld verdienen.
Als wir bei der Recherche zu unserem Report „Automating Society“, einer Bestandsaufnahme von Systemen zum automatisierten Entscheiden in zwölf EU-Ländern, auf dieses Beispiel stießen, waren wir erst einmal sprachlos. Es muss sich um einen Fehler handeln, dachten wir, und die Aussage der Analysefirma, dass kein Bewerber je den Zugang zum E-Mail-Konto verwehrt habe, machte die Sache nicht besser. All das sei außerdem nach den hohen Datenschutzstandards der EU völlig legal.
Es sind Fälle wie diese, die bei vielen Menschen Unbehagen, wenn nicht gar Angst auslösen. Angst davor, ausgespäht und überwacht zu werden, damit andere sich ein genaues Bild von ihnen machen können, ohne dass man dieses Bild selber noch irgendwie unter Kontrolle hätte. Angst davor,
zum Objekt der Entscheidungen solcher Systeme zu werden, deren Funktion man nicht versteht, verstehen kann – zum einen, weil sie so komplex sind, zum anderen, weil diejenigen, die sie verwenden, nichts darüber verraten, wie sie funktionieren und zu welchen Zwecken sie eingesetzt werden.
Dass sowohl die Aufmerksamkeit für solche Prozesse als auch die Skepsis ihnen gegenüber in den vergangenen Jahren gestiegen sind, liegt vor allem daran, dass Anbieter behaupten, Systeme entwickeln und einsetzen zu können, die automatisiert Entscheidungen treffen. Oft ist in diesem Zusammenhang die Rede von sogenannter künstlicher Intelligenz. Der Begriff ist äußerst unglücklich gewählt. Er erweckt den Eindruck, hier seien Prozesse am Werk, die menschlicher Intelligenz vergleichbar sind, nur von Maschinen ausgeführt werden. Das ist nicht der Fall. Vielmehr handelt es sich um statistische Verfahren, die mitunter den Eindruck erwecken, als kämen die Ergebnisse ähnlich zustande wie bei menschlichem Denken. Doch nur weil ein Computer einen Menschen im Schachspiel besiegen kann, hat er darum noch keine Absichten, besitzt keine Kreativität und keine Autonomie – alles Eigenschaften, die den Menschen erst zum Menschen machen.
Um den falschen Eindruck nicht zu verstärken, sollten wir daher von Systemen zum automatisierten oder algorithmischen (Vor-)Entscheiden sprechen, von ADM-Systemen (automated decision-making). Hier werden menschliche Entscheidungen an automatisierte Systeme übertragen, indem ein von Menschen entwickeltes Entscheidungsmodell so in Software umgesetzt wird, dass eine Maschine es umsetzen kann. So wird etwa ein automatisiertes Auto mit einem System ausgerüstet, das in der Lage ist, Hindernisse zu erkennen und ihnen auszuweichen. Dass es Hindernissen ausweichen sollte hat aber nicht das Auto oder Tatsache nichts, dass immer häufiger sogenannte selbstlernende Systeme eingesetzt werden, die im Lauf der Zeit Hindernisse immer besser erkennen. Die Entscheidung, diesen Hindernissen auszuweichen, statt sie zu überfahren, bleibt eine menschliche.
Was als akademische Spitzfindigkeit erscheinen mag, hat entscheidende gesellschaftliche Konsequenzen: Die Verantwortung dafür, welche Auswirkungen der Einsatz solcher Systeme hat, tragen immer Menschen, niemals Maschinen. Die Begründung „Das hat der Computer so entschieden“kann Ausdruck von Hilflosigkeit sein und auch das Ergebnis von gezielten (Falsch-) Darstellungen derjenigen, die sie einsetzen. Sie bleibt jedoch immer falsch, weshalb wir nicht zulassen dürfen, dass Menschen sich mit dieser Begründung ihrer Verantwortung entziehen.
Österreichs Arbeitsmarktservice ist das beste Beispiel. Hier wurde ein statistisches Modell entwickelt, das auf Grundlage von Ausbildung, Geschlecht, Erwerbskarriere, Alter, Staatsbürgerschaft und anderen Kriterien berechnen soll, welche Chancen Arbeitslose haben, Arbeit zu finden. Dazu werden Menschen in drei Kategorien eingeteilt: solche mit hohen, mittleren und niedrigen Chancen, einen Arbeitsplatz zu finden. Konkret bedeutet das, dass ab 2020 Menschen in der mittleren Kategorie stärker gefördert werden sollen, während Arbeitssuchende mit hohen und niedrigen Chancen auf dem Arbeitsmarkt weniger unterstützt werden.
Die Begründung: Ressourcen der Arbeitsmarktpolitik sollen effizienter eingesetzt und Arbeitssuchende mit höherer Treffsicherheit gefördert werden. Ein Ziel, das wahrscheinlich in dieser allgemeinen Formulierung viele unterstützen würden. Das Problem daran: Die Gewichtung der verschiedenen Faktoren entspricht dem, was bisher der Fall ist. Zum Beispiel haben Frauen mit „Betreuungspflichten“schlechtere Chancen einen Job zu finden als Frau ungspflichten erst gar nicht gestellt wird – sicher deshalb, weil die Pflichten so oft von Frauen übernommen werden, dass es sich bei ihnen auf ihre Arbeitssituation auswirkt, bei Männern jedoch nicht. Wenn nun aber diese Tatsache zur Grundlage des Modells wird, das über die Zukunft mitentscheidet, verstärkt es diese Situation.
Wer das als objektive Abbildung der Realität verteidigt, verkennt den gesellschaftlichen Sprengstoff, der darin enthalten ist. Politik sollte die Aufgabe haben, eine gerechtere Welt herzustellen, mit gleichen Chancen für Teilhabe aller. Beim AMS wurde die Entscheidung getroffen, eine bestehende Ungerechtigkeit fortzuführen und damit zu verstärken – wohlgemerkt von Menschen. Der zu diesem Zweck entwickelte Algorithmus ist nichts weiter als der Umsetzungsmechanismus dieser politischen Entscheidung, für die sich diejenigen rechtfertigen müssen, die sie getroffen haben.
Es ist die Blindheit für den politischen Kern vieler Automatisierungsprozesse, der berechtigte Kritik hervorruft. Denn die Risiken sind lange bekannt. Als beispielsweise IBM 1957 damit begann, die „Halbautomatische Umgebung zur Unternehmensuntersuchung“(Semi-Automated Business Research Environment, SABRE) zu entwickeln, um Tickets für die Flugzeuge von American Airlines zu verkaufen, wurde damit ein gutes Ziel verfolgt: Man wollte den bislang sehr umständlichen und fehleranfälligen Reservierungsprozess für die Fluglinie und die Kunden verbessern.
Im folgenden Vierteljahrhundert jedoch kam American Airlines darauf, dass man das System auch für andere Zwecke nutzen kann. Denn nachdem viele andere Fluglinien angefangen hatten, SABRE ebenfalls zu verwenden, begann American Airlines damit, es so zu manipulieren, dass die Angebote der Firma gegenüber anderen bevorzugt wurden. Reisende bekamen nicht mehr das günstigste Ticket angeboten, sondern jenes, das AA verkaufen wollte. In einer Anhörung des US-Kongresses gab sich AA-Präsident Robert L. Crandall unbeeindruckt von Vorwürfen, unfair gehandelt zu haben: „Die bevorzugte Anzeige unserer eigenen Flüge
Die Begründung „Das hat der Computer so entschieden“kann Ausdruck von Hilflosigkeit sein. Sie bleibt jedoch immer falsch.
der wettbewerbliche Grund dafür, das System überhaupt erst zu entwickeln.“
In ihrer grundlegenden Untersuchung mit dem Titel „Auditing Algorithms“(Algorithmen prüfen) haben Christian Sandvig und seine Koautoren diese Sichtweise „Crandalls Klage“getauft: Warum sollte man ein teures algorithmisches System entwickeln und einsetzen, wenn man es nicht zu seinen eigenen Gunsten beeinflussen kann? Die US-Regierung sah das jedoch anders und erließ 1984 einen heute wenig bekannten Paragrafen, den wohl ersten zur Algorithmenregulierung weltweit. Unter dem Titel „Darstellung von Informationen“schreibt er vor, dass für Reservierungssysteme von Fluggesellschaften jeder Person auf Anfrage die aktuellen Kriterien offenzulegen sind, die diese Systeme nutzen, um Flüge zu klassifizieren, wie die Kriterien gewichtet werden und welche Vorgaben bei der Entwicklung des Algorithmus gemacht wurden.
Erstaunlich ist zu sehen, was in den 35 Jahren seit Verabschiedung dieses Gesetzes geschehen ist. Auf der einen Seite wurden immer bessere Systeme zur Automatisierung komplexer Vorgänge entwickelt, die einen gewaltigen Einfluss auf unser aller Leben haben und haben können. Drei Beispiele: In den Niederlanden versucht die öffentliche Verwaltung, „Sozialbetrüger“zu identifizieren, indem sie Daten verschiedener Behörden kombiniert und von einem Algorithmus filtern lässt. In Dänemark will die Regierung ein System einführen, das automatisch aus Daten über Familien herauslesen soll, ob Kinder in Gefahr sind, vernachlässigt zu werden. In Polen werden Arbeitslosen bereits seit 2014 auf Basis einer automatisierten Klassifizierung Hilfen gewährleistet oder vorenthalten.
Auf der anderen Seite hat die Regulierung nicht Schritt gehalten. Wo 1984 bei einem System aus reinen Verbraucherschutzgründen Transparenz vorgeschrieben wurde, um erkennen zu können, ob Menschen in ihrer Eigenschaft als Konsumenten benachteiligt werden, zeigen das AMS-System und die genannten Beispiele, dass es längst um Entscheidungen geht, die viel stärker in unsere Rechte einschneiden. Doch darüber, wer diese Systeme zu welchem Zweck einsetzt, wer sie mit wem gemeinsam entwickelt, welche politischen und statistischen Modelle ihre Grundlage bilden und wer auf welche Art davon betroffen ist, darüber wird uns zu oft jegliche Auskunft verweigert.
Transparenz an sich ist kein Heilmittel. Aber sie ist Voraussetzung für den demokratischen Umgang mit automatisierten Systemen. Erst wenn wir wissen, aus welchem Grund sie eingesetzt werden, zu welchem Zweck sie eingesetzt werden, wer von ihnen auf welche Art betroffen ist, wer sie entwickelt hat und auf welchen Annahmen es beruht, können wir entscheiden. Entscheiden, ob wir überhaupt damit einverstanden sind, dass das System zum angegebenen Zweck eingesetzt wird – oder ob wir beispielsweise niemals die Entscheidung über Freiheitsentzug automatisiert treffen lassen wollen.
Die Frage, ob Automatisierung unseren Gesellschaften, uns Bürgerinnen und Bürgern nützt oder ihnen schadet, ist in erster Linie eine politische Frage. Sie gehört in die Mitte der Gesellschaft. Denn selbst, wenn sich nicht herausgestellt hätte, dass die finnische Firma, die auf Grundlage privater E-Mails angeblich Persönlichkeitsprofile erstellt, niemals auch nur einen Kunden hatte und nur vom Hype um die sogenannte künstliche Intelligenz profitieren wollte – wie es derzeit viele Unternehmen tun –, wäre die Frage, ob ihr Angebot legitim ist, niemals eine technische Frage gewesen.