Quand l’intelligence artificielle dérape

Il est de plus en plus évident que, laissée à elle-même, l’intelligence artificielle adopte nos pires préjugés sexistes et racistes. Comment s’assurer que les robots qui géreront bientôt nos vies le feront avec… humanité ?

Il est de plus en plus évident que, laissée à elle-même, l’intelligence artificielle adopte nos pires préjugés sexistes et racistes. Et comme elle est appelée à prendre énormément de place dans nos vies, elle pourrait avoir un effet catastrophique sur l’équilibre de notre société. Comment s’assurer que les robots qui géreront nos vies le feront avec… humanité ?

Si un enfant décorait un bureau, il ressemblerait à celui de Julie Hubert, PDG de Workland. Au moins sept figurines de licornes égaient la petite pièce aux murs bleus, sans compter l’écriteau arcenciel « I Believe in Unicorns », bien en vue dans une bibliothèque. L’entrepreneure de 40 ans croit réellement que la créature mythique existe. Elle assure même en avoir déjà aperçu. Après tout, son entreprise utilise l’intelligence artificielle expressément pour trouver cela, des licornes.

Pour Julie Hubert et l’équipe de Workland, le mot « licorne » désigne le candidat parfait, celui qui, enfoui dans la pile de 200 CV, mérite de décrocher le poste. Le déterrer prendrait des heures à un humain — et encore faudraitil qu’il le remarque. Mais pour l’algorithme intelligent de cette société de recrutement montréalaise, c’est un jeu d’enfant.

Ses neurones numériques n’ont besoin que de quelques secondes pour analyser des milliers de candidatures. CV, test de personnalité, demandes salariales, critères d’embauche : plus il y a de données, plus précis est le résultat. Le logiciel attribue à chaque candidat un pourcentage de compatibilité avec le poste, et l’employeur n’a qu’à convoquer les meilleurs en entrevue, puis à embaucher sa « licorne ».

« On est en train de créer le futur », s’enthousiasme Julie Hubert. Un futur déjà présent pour ses clients, dont Cascades, Bridgestone et Sani Marc, et pour lequel la demande est si forte que l’entrepreneure envisage de doubler son équipe de 50 employés d’ici six mois.

Mais vous, seriezvous d’accord pour qu’un robot ait un mot à dire sur votre avenir professionnel ? Et sur votre avenir tout court ?

Sans même qu’on s’en rende compte, l’intelligence artificielle — qui désigne ici toute technologie qui remplace le jugement humain — s’est profondément enracinée dans nos vies. Cela a commencé en ligne, lorsqu’elle a « appris » de nos habitudes pour nous retenir quelques secondes de plus sur Facebook ou nous vendre davantage de livres sur Amazon. Cela s’est poursuivi dans notre portefeuille, pour approuver nos transactions effectuées avec une carte Mastercard, calculer notre cote de crédit à Equifax ou ajuster nos primes selon notre conduite sur la route auprès d’Intact Assurance. Aujourd’hui, les algorithmes nous suivent jusqu’au club de gym, où Énergie Cardio s’en sert pour détecter la perte de motivation et nous encourager à suer davantage. Même L’actualité utilisera bientôt l’intelligence artificielle (IA) pour gérer votre abonnement !

La prochaine étape, c’est le déploiement à grande échelle dans les affaires de l’État. Au fédéral, au moins trois ministères et une agence — Justice, Emploi, Immigration et Santé publique — explorent le potentiel de l’IA. L’objectif à court terme n’est pas de prendre des décisions à la place des fonctionnaires, mais de les épauler dans leurs tâches quotidiennes, en automatisant par exemple la recherche de jurisprudence. Du côté du Québec, le ministère de la Santé a créé un algorithme pour aider les infirmières et les travailleurs sociaux à établir les besoins des patients à domicile, tandis qu’une commission scolaire de la région de Granby se sert de cette technologie pour reconnaître précocement les décrocheurs. Et l’automne dernier, la Ville de Montréal a lancé un appel d’offres pour trouver un fournisseur de services en intelligence artificielle afin de tirer profit des données générées sur son territoire.

Si l’IA charme autant les organisations publiques que privées, c’est parce qu’elle promet de faire gagner du temps, d’améliorer les services et, surtout, de réduire les coûts. Le problème, c’est que les résultats ne sont pas toujours au rendezvous. Pire, les dérapages s’accumulent.

Il y a eu Tay, un robot conversationnel créé par Microsoft en 2016 pour se comporter comme une Américaine de 19 ans sur Twitter. « Plus vous lui parlez, plus Tay devient intelligente », promettait sa bio sur le site de microblogage. Ses gazouillis sont rapidement passés de « Hellooooooo world !!! »à« Hitler was right I hate the jews » (sic), ce qui a forcé Microsoft à mettre un terme à l’expérience moins de 24 heures après son début.

Il y a eu l’algorithme de recrutement d’Amazon, qui devait déterminer les meilleurs candidats à embaucher — un peu comme Workland, mais en employant une technologie différente. Lors des tests, le robot a montré une préférence pour les profils masculins, ce qui a pénalisé les CV utilisant un vocabulaire à consonance féminine, a révélé l’agence de presse Reuters. Le géant du commerce en ligne a abandonné l’outil l’an dernier, avant qu’il soit utilisé.

Il y a eu MiDAS, qui automatisait la détection des fraudes à l’assuranceemploi dans l’État du Michigan. Le système a permis aux autorités de récupérer près de 69 millions de dollars américains par an, comparativement à 3 millions auparavant. Un vrai succès... jusqu’à ce qu’une enquête interne révèle que 85 % des 40 195 cas trouvés par l’algorithme d’octobre 2013 à septembre 2015 étaient de faux positifs. MiDAS demeure en usage, mais avec davan

tage de supervision humaine, et l’État s’est engagé à rembourser les victimes.

Il y a eu COMPAS, qui évalue le risque de récidive des criminels. Dans de nombreux États américains, les prédictions de ce logiciel influencent les cautions, les conditions de probation et même la durée des peines de prison. Or, une enquête du site de journalisme d’enquête ProPublica a révélé que l’algorithme aurait un biais négatif envers les Noirs. Cette conclusion est contestée par le fabricant, mais la Cour suprême du Wisconsin n’en a pas moins invité les juges à utiliser cet outil avec une « grande prudence ».

Ces exemples montrent que, tout comme dans les meilleures oeuvres de science-fiction, les robots ne sont pas neutres et infaillibles, loin de là. En essayant de reproduire le jugement humain, les algorithmes peuvent répéter nos préjugés. Et lorsqu’ils le font, c’est à une échelle inégalée. Oubliez le sexisme et le racisme systémiques ; avec l’intelligence artificielle, ils menacent de devenir automatiques.

Un peu comme un humain, un robot ne

naît pas raciste ; il apprend à le devenir. Et cela peut se produire malgré les bonnes intentions de ses créateurs, affirme Abhishek Gupta, ingénieur logiciel à Microsoft et fondateur du Montreal AI Ethics Institute, un groupe de recherche sur le développement éthique de l’intelligence artificielle. En bon pédagogue, le programmeur explique l’introduction de préjugés dans les algorithmes à l’aide de pommes et d’oranges.

Imaginez que vous désirez un logiciel d’intelligence artificielle capable de distinguer ces deux fruits, dit-il. Vous devrez d’abord montrer des images en disant « ceci est une pomme », « ceci est une orange », « ceci est une orange », « ceci est une pomme » et ainsi de suite. À force d’« entraînement », l’algorithme finira par les reconnaître lui-même. C’est, dans le jargon, de l’apprentissage machine.

« Si vous ne faites pas attention et que vous entraînez le système avec 1 000 oranges, mais seulement 10 pommes, il ne sera pas efficace pour reconnaître les pommes », dit Abhishek Gupta. Peut-être même les confondra-t-il avec des oranges. Dans ce cas, rien de dramatique. Mais quand un algorithme de reconnaissance visuelle confond des Noirs et des gorilles, comme ce fut le cas dans Google Photos en 2015, c’est une autre histoire…

Hélas ! il ne suffit pas de montrer davantage de pommes — ou de Noirs — pour régler les préjugés de l’intelligence artificielle. Les sources de distorsion sont multiples et, dans la plupart des cas, subtiles, souligne Abhishek Gupta. Pour comprendre pourquoi, il suffit de regarder notre propre nombril. Les données utilisées pour entraîner les algorithmes ne sortent pas du vide : elles proviennent de notre société et renferment donc toutes nos qualités, nos nuances et nos défauts.

En théorie, il est possible de filtrer les données fournies aux robots pour éviter de transmettre nos mauvais plis. Certains éléments à exclure au moment du traitement des données sont plus évidents que d’autres, tels l’origine ou le sexe, mais la plupart requièrent davantage de vigilance. Aux États-Unis, par exemple, inclure les codes postaux risque de conduire à des biais raciaux, vu l’homogénéité de plusieurs quartiers. Un phénomène bien documenté, ce qui n’empêche pas l’erreur d’être répétée…

Une telle situation risque davantage de survenir lorsque les programmeurs forment un groupe homogène. « Ils

Oubliez le sexisme et le racisme systémiques; avec l’intelligence artificielle, ils menacent de devenir automatiques.

peuvent avoir l’impression que leur base de données est représentative, alors qu’elle ne comprend en réalité que des gens qui leur ressemblent », explique Abhishek Gupta. C’est pour cette raison que de plus en plus de voix réclament que l’intelligence artificielle soit créée par des équipes diversifiées, tant sur le plan de l’âge que du sexe et des origines. Si Google avait compté davantage d’ingénieurs afro-américains dans ses rangs, peut-être que les ratés de son algorithme auraient été détectés avant que celui-ci soit rendu public.

Toute la diversité du monde ne réglera toutefois pas le principal problème de l’intelligence artificielle, qu’on oublie parfois devant l’engouement qu’elle suscite : cette technologie n’est pas encore au point. « J’écris du code pour faire de l’apprentissage machine tous les jours, dit Abhishek Gupta. Je sais à quel point ces systèmes sont limités pour le moment. » Ainsi, trois ans après avoir confondu Noirs et gorilles, Google cherche toujours une solution à ses problèmes de vision. Pour éviter les associations malheureuses d’ici là, les mots « gorille » et « personne noire » ont été supprimés du vocabulaire de l’algorithme de reconnaissance visuelle.

« Baseline, ensuite, enrichis le format

BIO avec le post tag et les spell-checks. » Vous ne comprenez rien ? Moi non plus. Cela fait une heure que, assis dans un coin du grand bureau feutré de Sylvie Ratté, je tente de suivre la discussion entre la professeure de l’École de technologie supérieure et son collègue Pierre André Ménard, du Centre de recherche informatique de Montréal. Je comprends cependant une chose : ils sont pessimistes. « Je ne crois pas aux miracles, explique Sylvie Ratté. Quand tu n’as pas beaucoup de données, c’est certain que le résultat ne sera pas fantastique. »

Le « pas beaucoup de données », ce sont 50 000 rapports de la Direction de la protection de la jeunesse (DPJ) au sujet de 750 contrevenants. L’objectif est d’« entraîner » un algorithme capable de classer, dans une trentaine de catégories et sous-catégories, chacune des interventions décrites, une tâche qui coûterait une fortune si elle était réalisée par un expert. Le résultat, si tout fonctionne comme prévu, donnera une vue d’ensemble des forces et faiblesses d’un groupe d’intervenants de la DPJ à la criminologue Geneviève Parent, de l’Université du Québec en Outaouais. Cela pourrait ensuite servir de base à des formations pour aider les travailleurs à corriger leurs lacunes.

Dire qu’il s’agit d’un projet de recherche délicat est un euphémisme, et pas seulement à cause du sujet. Les sources d’erreurs sont multiples, à commencer par le fait que les documents à analyser sont rédigés dans un français « à la va-comme-je-te-pousse », illustre Pierre André Ménard. Il est aussi possible que des intervenants aient bien travaillé, mais omis de consigner tous les détails dans leurs rapports, souligne Sylvie Ratté. Bref, les résultats de l’algorithme seront à prendre avec des pincettes.

«[les programmeurs] peuvent avoir l’impression que leur base de données est représentative, alors qu’elle ne comprend en réalité que des gens qui leur ressemblent.» Abhishek Gupta, ingénieur logiciel à Microsoft et fondateur du Montreal AI Ethics Institute

Les deux experts en intelligence artificielle ont accepté d’aller de l’avant malgré tout, car Geneviève Parent est consciente des limites de l’algorithme, et elle utilisera cet outil en conséquence. Si son objectif avait été de trouver et de sanctionner les mauvais intervenants de la DPJ, ils auraient refusé. En partie pour des raisons éthiques, mais surtout parce que l’IA n’est pas au point pour un tel usage.

Une entreprise pourrait cependant fermer les yeux, volontairement ou non, sur les lacunes de l’IA et commercialiser un algorithme qui n’est pas prêt, craint Pierre André Ménard. « Il est là, le danger. » Heureusement, un nombre grandissant d’entreprises en arrivent à la même conclusion.

Il y a un an à peine, personne n’était intéressé par les services de Valentine Goddard. Cette avocate était pourtant persuadée d’avoir déniché un bon filon en fondant Alliance Impact Intelligence Artificielle (AIIA), un cabinet-conseil montréalais spécialisé dans les implications sociales, éthiques et politiques de l’intelligence artificielle. « Je me butais à beaucoup de portes fermées. Disons que ce n’est pas avec ça que je gagnais ma vie... »

Aujourd’hui, non seulement des entreprises lui ouvrent leurs portes, mais elles viennent cogner à la sienne. Certains de ses clients ont vu les dérapages et veulent s’assurer de ne pas être les prochains à faire les manchettes. D’autres sont des investisseurs qui lui demandent d’accompagner les jeunes pousses de l’intelligence artificielle dans lesquelles sont placées leurs billes. « Mes clients comprennent que négliger l’éthique pose un risque financier », dit Valentine Goddard. Et de plus en plus de gens, à l’image de l’avocate, y voient une occasion d’affaires.

À l’instar du commerce équitable et de la nourriture bio, des organisations délivrent des certifications attestant que les algorithmes répondent à des standards éthiques. L’une d’elles, l’entreprise américaine ORCAA, vérifie les lignes de codes qui donnent vie aux logiciels pour s’assurer que tout est en ordre. D’autres entreprises, dont IBM, Google et Microsoft, créent des outils numériques qui détectent les biais dans les données — quoique cela se limite aux cas les plus simples pour le moment. Dans une délicieuse tournure métaphysique, certains entraînent même des systèmes d’intelligence artificielle pour corriger les préjugés de l’intelligence artificielle.

Le thème de l’éthique devient aussi un incontournable dans les conférences sur l’IA, et un nombre grandissant d’entre elles y sont entièrement consacrées. C’est d’ailleurs au cours d’une de ces activités qu’est née l’initiative qui a mené, le 4 décembre dernier, au lancement de la Déclaration de Montréal, un texte qui propose 10 grands principes pour assurer un développement responsable de l’intelligence artificielle. Des exemples : viser le bien-être de tous les humains, favoriser leur autonomie et éliminer les discriminations.

La Déclaration de Montréal se veut une « boussole éthique pour tous ceux qui travaillent avec l’IA », dit MarcAntoine Dilhac, professeur de philosophie à l’Université de Montréal et instigateur de l’initiative, à laquelle se sont joints 12 centres de recherche. Ce n’est pas le premier document à viser un tel but, convient-il, mais contrairement aux traditionnels « rapports technocratiques », celui-ci est le fruit d’un processus de consultations publiques au Québec et en France. « Nos principes sont dotés d’une légitimité démocratique » qui, espère-t-il, facilitera leur adoption par les entreprises qui créent l’intelligence artificielle.

«On n’a pas besoin d’un cadre éthique.»

Marc-Étienne Ouimette est avocat et directeur des politiques publiques et des affaires gouvernementales à Element AI, une jeune pousse montréalaise en intelligence artificielle qui a collecté plus de 100 millions de dollars auprès d’investisseurs. Une part de cet argent finance une campagne de lobbyisme intensive auprès d’Ottawa et de Québec pour faire entendre son point de vue, que MarcÉtienne Ouimette n’hésite pas à répéter publiquement : « Ce qu’il nous faut, c’est un cadre réglementaire et législatif. »

Rares sont les entreprises, tous secteurs confondus, qui réclament davantage de règles plutôt que moins. Si Element AI le fait, c’est qu’elle sent s’effriter la confiance du public à l’égard de la technologie. « En ce moment, la perception de l’avenir de l’intelligence artificielle est très négative. » Discrimination, pertes d’emplois, surveillance accrue, concentration du pouvoir… Ces craintes, si elles continuent de grossir, pourraient freiner l’adoption de l’IA — et la croissance de la jeune pousse. Mais il existe aussi un « avenir positif », croit l’avocat, où la technologie « améliore la vie des gens au lieu de voler leurs jobs ». Et une loi permettrait « d’établir les balises pour y arriver ».

Certains experts proposent la création d’une agence qui, comme Santé Canada pour les médicaments, approuverait les algorithmes avant leur mise en marché. D’autres plaident pour une forme d’autorégulation dans laquelle le public serait partie prenante. Marc-Étienne Ouimette, pour sa part, estime que la meilleure solution n’a pas encore été inventée.

À court terme, ni Ottawa ni Québec n’ont l’intention de légiférer. Au cours de 2019, le fédéral publiera toutefois une « directive sur les processus décisionnels automatisés », afin d’encadrer l’utilisation de l’intelligence artificielle à l’intérieur de l’appareil gouvernemental. L’objectif est de profiter du « potentiel énorme de cette technologie, tout en s’assurant que l’éthique et les valeurs canadiennes sont respectées », explique Alex Benay, dirigeant principal de l’information du Canada, qui pilote le dossier.

Vous vous souvenez que le fédéral explore en ce moment de quelle façon l’IA pourrait épauler ses fonctionnaires dans leurs tâches ? Il semble qu’Ottawa ira bientôt beaucoup plus loin. La directive que prépare l’équipe d’Alex Benay, dont L’actualité a pu consulter une ébauche, spécifie que les gens devront être avisés lorsqu’un robot décidera de leur sort et qu’ils auront droit à « une explication significative » du raisonnement de la machine. Dans les cas où l’enjeu est élevé, telle une demande de citoyenneté, la dernière décision devra obligatoirement être prise par un humain.

Le document précise également que le code source des algorithmes utilisés par le fédéral devra être rendu public afin que toute personne intéressée puisse disséquer ces robots à la recherche de défauts. Cette volonté risque néanmoins de se buter à l’Accord États-Unis–Mexique– Canada, qui remplacera l’Accord de libre-échange nord-américain. L’une des nouvelles clauses stipule en effet qu’aucun État « ne peut exiger le transfert ou l’accès au code source d’un logiciel » avant que celui-ci soit importé ou utilisé sur son territoire. Un « organe régulateur » pourrait y accéder dans le cadre d’une « inspection » ou d’une « enquête », mais uniquement sous garantie que son contenu ne sera pas dévoilé à d’autres parties, ce qui comprend le public.

Pour Julie Hubert, de Workland, exposer le code source de son algorithme de recrutement est hors de question. « Ça reviendrait à donner nos innovations à la concurrence. » Par contre, les candidats peuvent consulter un rapport détaillant pourquoi le logiciel les juge compatibles ou non avec le poste. Une information plus utile, pour le commun des mortels, que des lignes de Python.

L’entrepreneure est d’ailleurs plus que consciente des dangers qui découlent de l’automatisation des décisions, et son équipe diversifiée — hommes, femmes, jeunes et vieux, qui représentent ensemble 15 nationalités différentes ! — prend régulièrement du recul pour s’assurer que le système n’a pas d’angle mort sur le plan éthique. « La dernière chose que je veux, c’est introduire davantage de biais. »

Davantage ? Oui, car les préjugés sont arrivés dans le monde de l’emploi bien avant l’intelligence artificielle, rappelle Julie Hubert. « Des clients qui m’ont demandé d’envoyer seulement des candidats avec un nom québécois, j’en ai eu... »

Somme toute, l’entrepreneure est persuadée que sa technologie a le potentiel d’éliminer ou, à tout le moins, de diminuer la discrimination à l’embauche. « Si Mohamed est compatible à 91 % avec le poste, et Pierre à 70 %, ça force l’employeur à réfléchir. » Avec un peu de chance, il ouvrira les yeux et apercevra une licorne.

Certains experts proposent la création d’une agence qui approuverait les algorithmes avant leur mise en marché.