A.I., Aïe, Aïe !

ri Schlesinger s’est fait une nouvelle amie l’an dernier, Zo. Cette dernière est un robot conversationnel ( chatbot) mis au point en 2016 par Microsoft, à savoir un robot de compagnie féminin avec qui l’on peut discuter en ligne de tout et de rien, des heures durant, le jour comme la nuit. Les échanges sont parfois si profonds que les utilisateurs en arrivent à oublier que Zo n’est pas un être humain...

L’Américaine ne faisait pas que bavarder avec Zo ; elle lui demandait aussi, à l’occasion, de lui faire écouter de la « bonne musique », et si possible, de nouveaux groupes. Jusqu’au jour où elle a sourcillé : la « bonne musique » consistait systématiquement en des groupes de musiciens blancs ; un choix étrange, car la jeune femme a des goûts musicaux éclectiques.

Il se trouve que Mme Schlesinger n’est pas n’importe qui. Elle est une étudiante douée en intelligence artificielle (IA) du Georgia Institute of Technology, à Atlanta, aux États-Unis. Et elle a eu l’idée, en toute logique, d’une drôle d’expérience...

Un beau jour de septembre 2017, elle a inversé les rôles : elle a fait écouter à Zo un morceau du groupe électronique ontarien A Tribe called Red, dont les trois membres sont autochtones. Puis, elle lui a demandé ce qu’elle en pensait.

Dans un premier temps, Zo s’est montrée embarrassée, n’osant pas se prononcer ouvertement sur cette musique-là. Mais à force d’être questionnée par l’Américaine, elle a fini par lâcher qu’à ses yeux, c’était de la musique de « kawish » (un nom insultant pour les Autochtones). La conclusion sautait aux yeux: Zo était raciste!

Pas pragmatique

Comment expliquer ça ? Mme Schlesinger s’est penchée sur le problème avec deux experts en interaction humain-robot intelligent et vient tout juste de découvrir que ce préjugé résultait de la manière dont Zo – « et n’importe quel autre chatbot » – apprenait à parler. « Les robots intelligents apprennent les langues grâce à un champ scientifique qui combine linguistique, informatique et IA, le traitement automatique du langage naturel (TALN). Le hic, c’est qu’ils apprennent ainsi à maîtriser la syntaxe (la grammaire) et la sémantique (la signification), mais pas la pragmatique (le contexte) », a-t-elle expliqué lors du CHI 2018, un événement qui a réuni, la semaine dernière à Montréal, plus de 3 300 chercheurs et entrepreneurs spécialisés en IA.

Voilà pourquoi Zo en arrive à classer les groupes de musique autochtones dans la catégorie « kawish » sans broncher. « D’un point de vue de syntaxe et de sémantique, un tel classement est valable. Mais le contexte fait qu’une telle catégorisation est révoltante », a-t-elle souligné.

En conséquence, il faudrait réapprendre à parler à tous les robots intelligents doués de la parole! Car ils sont tendancieux, et particulièrement racistes. Ce qui est gravissime. Un exemple frappant me vient à l’esprit : aujourd’hui, nombre d’entreprises se veulent à la fine pointe technologique en faisant appel à l’IA pour trier les CV reçus lorsqu’elles ouvrent un poste. Se pourrait-il que ces robots intelligents classent, sans le dire, les CV des Autochtones dans la catégorie « kawish » ? Et ceux des Noirs? Et ceux des Asiatiques?

Amateurs de bitcoin, asseyez-vous

C’est clair, l’IA a de nos jours des impacts potentiellement catastrophiques que l’on ne soupçonne même pas. J’ai d’ailleurs un second cas incroyable à vous dévoiler, divulgué lui aussi lors du CHI 2018. Amateurs de bitcoin, asseyez-vous avant de lire ce qui suit...

Peter Krafft est chercheur au MIT Media Lab à Boston (États-Unis). Avec deux collègues, il s’est demandé pourquoi la valeur des cryptomonnaies jouait sans cesse au yo-yo (en 2017, la volatilité moyenne annualisée du bitcoin a atteint le pourcentage renversant de 73%, selon Coindesk). Il s’est doté de 217 robots intelligents et leur a appris d’une part à surveiller l’évolution des cours sur la plateforme Cryptsy (aujourd’hui fermée, mais à l’époque la troisième plus importante du monde en matière de volume d’échanges) et, d’autre part, à y vendre et acheter des cryptomonnaies. Puis, il leur a dit d’agir de manière aléatoire, à raison d’une vente, d’un achat ou d’une absence d’action toutes les 15, 30 ou 60 minutes, et ce, durant six mois.

Résultats? Tenez-vous bien: Chaque fois que ses robots achetaient, la probabilité que la tendance du marché soit à l’achat était de 30% dans le quart d’heure qui suivait, soit 2 points de pourcentage de plus que la normale. Ce qui est énorme. Chaque fois que ses robots achetaient, le volume global des achats effectués sur le marché était en général multiplié par 500 dans le quart d’heure qui suivait. Ce qui est purement astronomique.

« Beaucoup de transactions sur ces marchés sont effectuées par des robots intelligents, a-t-il dit. Or, nous avons découvert qu’ils s’influencent les uns les autres, étant programmés pour être hypersensibles aux variations inattendues comme l’étaient nos interventions aléatoires. » Autrement dit, ses robots étaient à même de manipuler le marché. Ni plus ni moins. Une chance qu’il n’était pas mal intentionné...

L’IA prétend rendre le monde meilleur, mais pour l’heure, il ne fait que le fragiliser. « Peut-être ferions-nous bien d’appuyer sur “Pause”, le temps d’apporter quelques nécessaires correctifs ici et là, avant d’être confrontés à une véritable catastrophe planétaire... », a suggéré Mme Schlesinger. Avec justesse, d’après moi.

la