Maths DISCRIMINATOIRES

En théorie, les algorithmes sont neutres. En pratique, ils peuvent bouleverser des vies, en décidant qui a droit à un prêt étudiant, à un emploi et même à une peine de prison plus clémente.

P

ourquoi qualifiez- vous les algorithmes nd d’« armes » ?

Cathy O'Neil Les algorithmes utilisent des masses de données pour prédire des événements et optimiser les chances de réussite. On essaie de recréer les conditions qui ont mené à un succès afin qu’il se reproduise à l’avenir. Mais, secrètement, ils détruisent des vies. Ils sont bâtis par des gens qui ont des objectifs cachés. Ils prétendent que ce qu’ils font est impartial et que les algorithmes sont basés sur les concepts de vérité et de compréhension scientifique mais, au fond, ce n’est pas du tout le cas. Ils reflètent une idéologie.

Ils peuvent déterminer si une personne aura un emploi ou non, calculer les prêts bancaires et les remboursements d’assurance et même estimer les risques de récidive des criminels. Certaines personnes bénéficient de ces modèles mathématiques et ce sont les plus nanties. Le problème, c’est que d’autres en souffrent énormément. On laisse les modèles mathématiques prendre des décisions, ce qui est souvent injuste.

De quelles façons ces modèles mathématiques créent-ils des inégalités dans la société ?

L’un des exemples les plus criants est probablement l’algorithme d’évaluation des enseignants mis en place dans la ville de Washington, aux États-Unis en 2007. L’objectif était de se débarrasser des enseignants incompétents pour améliorer le système scolaire. Un calcul complexe essayait de déterminer la part de l’enseignant dans les résultats des élèves. C’est un système qui est toutefois très incohérent et ses résultats ont conduit au congédiement aléatoire d’enseignants, particulièrement dans les quartiers défavorisés. Les algorithmes ont besoin d’une rétroaction pour apprendre de leurs erreurs. Sinon, ils tombent dans une boucle de mauvaises décisions. C’est ce qui est arrivé à Washington.

Trop souvent, on fait appel à des algorithmes quand on ne veut pas soulever des questions éthiques. Personne ne veut s’interroger sur ce qu’est un bon enseignant. On veut plutôt une solution facile avec un vernis scientifique. On n’a qu’à dire : c’est la machine qui le dit. Personne ne veut prendre le blâme.

Lors des dernières élections américaines, on a accusé l’algorithme de Facebook d’avoir relayé de fausses nouvelles qui confortaient l’opinion des utilisateurs. Les algorithmes ont-ils réellement le pouvoir d’influencer un scrutin ?

C’est assurément possible. Je n’ai pas les données pour le prouver parce

À l’ère du big data, les algorithmes semblent nous connaître mieux que nous-mêmes. Qui n’a jamais reçu de recommandations de produits, de voyages, de films ou de lectures en naviguant sur le Web ? Si ces résultats d’algorithmes semblent inoffensifs, d’autres ont le pouvoir de changer le cours d’une vie, et pas toujours pour le mieux. Loin d’être objectifs, ils renforceraient même les inégalités sociales. Voilà pourquoi la mathématicienne et auteure américaine Cathy O’Neil les qualifie d’« armes de destruction mathématique » dans son plus récent livre Weapons of Math Destruction : How Big Data Increases Inequality and Threatens Democracy. Entretien avec une scientifique des données qui a décidé de monter au créneau. Propos recueillis par Laurie Noreau

qu’elles sont gardées secrètes, mais la propagande fonctionne, surtout chez certains groupes.

Prenez ce groupe de la société, de plus en plus important, qui n’a pas le temps de s’informer. Si on l’alimente en fausses informations, comment peut-il être en mesure de distinguer le vrai du faux ? C’est comme ça que le big data augmente les inégalités.

Pourquoi est-ce si difficile d’avoir accès aux modèles mathématiques utilisés dans un algorithme ?

Les géants du Web comme Amazon, Facebook et Twitter disent que ce sont des formules d’affaires, qu’ils n’ont pas à les dévoiler et que c’est de la propriété intellectuelle. Mais je crois que la vraie raison, c’est que les gens qui possèdent ces modèles détiennent un pouvoir qu’ils ne sont pas prêts à laisser aller.

On peut parfois déjouer un algorithme quand on sait comment il fonctionne et manipuler ainsi le résultat. On l’a vu dans le modèle mathématique d’évaluation des enseignants, quand certains d’entre eux se sont mis à tricher. Ils gonflaient les notes des élèves pour ne pas être dans la mire de l’algorithme et éviter ainsi d’être congédiés. Cela témoigne de l’inefficacité de cette méthode.

Un algorithme peut-il être neutre ?

Les algorithmes sont des opinions cachées dans des mathématiques. Je ne crois pas qu’ils puissent être neutres. Toutefois, ils peuvent être justes s’ils tiennent compte des dommages potentiels envers les individus concernés et s’ils tentent de les éviter. Ça concerne autant ceux qui développent l’algorithme que ceux qui en subiront les conséquences.

En tant que citoyen, comment peut-on lutter contre l’intervention des algorithmes dans nos vies ?

On donne beaucoup de pouvoir aux algorithmes. On peut décider de ne plus leur faire confiance, de ne plus les croire. Les gens devraient exiger des preuves.

Je pense néanmoins qu’on peut utiliser les algorithmes pour le bien de tous. Cela dépend de ce qu’on choisit de calculer. Dans l’algorithme des enseignants, si on avait tenu compte de leur engagement et de leur implication envers les élèves, les résultats auraient été beaucoup plus précis.

Le problème, c’est que bien des gens sont intimidés par les mathématiques. Mais en tant que mathématicienne, je peux vous dire que les mathématiques ne sont pas la partie la plus préoccupante des algorithmes ! Ce sont plutôt les enjeux éthiques qui y sont liés; mais les scientifiques de données préfèrent ne pas y penser.

Les algorithmes sont des opinions cachées dans des mathématiques. Je ne crois pas qu’ils puissent être neutres.