Détection de contenus haineux : l'intelligence artificielle trop souvent fantasmée

Comment opérer une détection automatique des contenus haineux ? Ne confère-t-on pas trop de pouvoir à l’Intelligence Artificielle ? Les technologies offertes par les sciences du numérique peuvent-elles contribuer à lutter contre ce déferlement en ligne ? En partie, si on en fait un usage éclairé et sans perdre de vue ses limites. (*) Par Sébastien Harispe, docteur en Informatique, enseignant-chercheur dans le domaine de l’Intelligence Artificielle, à IMT Mines Alès, UMR EuroMov Digital Health in Motion.

Les réseaux sociaux et autres plateformes d'expression libre sur le Web permettent aujourd'hui la mise en visibilité d'un spectre large d'opinions sur pléthore de thématiques. Véritables outils de communication et de structuration de communautés, ces plateformes ne cessent de démontrer le rôle de catalyseur qu'elles peuvent jouer dans la lutte contre de multiples formes d'oppressions, d'inégalités et d'abus qui méritent d'être condamnés (Printemps arabes, mouvements #meetoo, Black live matters, #meeTooInceste).

Ces plateformes permettent par construction - c'est leur essence première - à tout individu ou organisation d'exprimer un point de vue. Celui-ci contribuera très souvent à rendre visible et faire vivre des corpus d'idées plus larges, susceptibles de façonner l'opinion de l'autre sur des sujets potentiellement clivants. La diversité de ces points de vue est cependant à l'image de la diversité des représentations mentales des milliards d'individus qui les expriment (3.6 milliards utilisateurs de ce type de plateformes en 2020 [1]). Elle laisse ainsi place à l'expression de contenus haineux visant à porter préjudice à des groupes d'individus identifiables sur la base de leur origine, genre, religion, orientation sexuelle, handicap... Comment alors éviter de telles publications sans revisiter la nature même de ces plateformes d'expression libre qui, détachées de politiques éditoriales, publient sous couvert d'anonymat des millions d'informations quotidiennement ? La lutte contre la publication de contenus haineux reste plus que jamais un problème ouvert.

L'AUTOMATISATION COGNITIVE

Les initiatives visant à lutter contre la publication et la prolifération de contenus haineux sont pourtant multiples. La Loi Avia, promulguée en France le 24 juin 2020 pour la lutte contre les contenus haineux sur Internet sur la base de notifications d'utilisateurs, en est un bon exemple.

Une automatisation de la détection de ce type de contenus est cependant centrale pour faire face aux flux massifs de publications générés en continu. Certaines initiatives cherchent alors à s'affranchir tant que possible de la dépendance à l'intervention humaine en adoptant des approches automatisées. Celles-ci tirent parti d'une véritable automatisation cognitive visant à déporter à l'examen algorithmique l'identification du caractère haineux des contenus. Ces algorithmes évaluent, sur la base de l'analyse des multiples modalités des contenus (texte, image, son, vidéo, métadonnées), le caractère potentiellement haineux des messages qu'ils véhiculent. Différentes techniques d'analyse de données, aujourd'hui très souvent introduites comme des techniques dites d'Intelligence Artificielle, sont ainsi utilisées. Les plus performantes se basent plus particulièrement sur des approches d'apprentissage automatique dont celles issues de l'apprentissage profond (Deep Learning). Ces dernières sont notamment à l'origine de récentes prouesses en traitement d'images ou du langage naturel, et dans la résolution de problèmes complexes que beaucoup de chercheurs du domaine ne pensaient adressables de leur vivant (par exemple le jeu de Go [2] ou la prédiction de structures protéiques [3]).

DE LA DIFFICULTÉ D'UNE PROCÉDURE ALGORITHMIQUE

L'approche communément adoptée en informatique pour traiter un problème repose sur la définition explicite d'un algorithme visant à le résoudre. On définit dans ce cas les instructions qui permettront, pas à pas, d'atteindre l'objectif visé. Voyez un algorithme comme une simple recette de cuisine qui détaille les différentes étapes à suivre. Dans le cas de la détection de textes haineux, il faudrait alors expliciter les règles de décision qui permettront d'identifier si un texte mérite d'être écarté ou pas. De telles règles de décision devraient naturellement se baser sur l'évaluation de la sémantique du contenu textuel. Voici un exemple de règle susceptible de fonctionner : « J'exclus le message si celui-ci contient le sigle "LGBT" et un terme injurieux précisé dans un vocabulaire de noms d'oiseaux pré-identifiés ». Cette règle fonctionnera dans de nombreux cas bien qu'elle soit cependant imparfaite ; vous n'aurez aucun mal à trouver un contre-exemple tel qu'un tweet qui mentionne "Les Enfoirés" et la cause "LGBT". Cette règle ne couvre de plus qu'une infime partie des cas... Du fait de la richesse de notre langue, il est ainsi illusoire de traiter ce type de problèmes par la formulation d'une procédure algorithmique basée sur la définition explicite de règles de décision.

LAISSONS LA MACHINE APPRENDRE

Comment fonctionnent alors les approches automatisées ? Du fait de l'impossibilité de définir explicitement les règles de décision capables de distinguer si un contenu est haineux - notion que l'on ne sait formaliser -, une approche communément adoptée tire parti de techniques d'apprentissage automatique supervisé. On cherche ici à apprendre à la machine à résoudre le problème à partir d'exemples de résultats attendus. La supervision est alors exprimée sous la forme d'une collection de contenus annotés qui illustrent les classes de contenus que l'on cherche à distinguer (dans notre cas : contenus haineux et conformes). Vient par la suite la phase technique d'apprentissage. Un algorithme exploite les exemples annotés afin d'obtenir un prédicteur qui détectera et exploitera les motifs discriminants utiles à la détection des contenus haineux. Cette procédure permet in fine d'obtenir un prédicteur capable de classifier tout contenu du même type que ceux considérés dans la base annotée. Si la procédure fonctionne, la machine aura alors appris à résoudre la tâche à partir d'exemples d'attendus, d'où le terme d'apprentissage automatique supervisé. L'obtention de prédicteurs performants n'est bien entendu aucunement garantie a priori.

RAFFINEMENT DE LANGUE ET BIAIS

Le problème de l'apprentissage automatique supervisé est en effet par définition complexe. Il s'agit pour les chercheurs du domaine de définir des approches algorithmiques capables d'exploiter l'information à disponibilité, la base d'exemples annotés, en vue d'apprendre un prédicteur performant. Celui-ci doit être fidèle de la subtilité requise dans la phase d'annotation. Rappelons que l'annotation est effectuée par des opérateurs humains à même de saisir les raffinements de langue et autres appréciations contextuelles pour distinguer si un contenu doit être jugé comme haineux ou pas. Or les exemples de la base annotée exploitée ne couvrent qu'une infime partie de la diversité des contenus susceptibles d'être traités. Il s'agit alors d'apprendre, à partir des exemples annotés, une règle de décision générale performante pour tout contenu susceptible d'être évalué. Au-delà du nombre réduit d'exemples annotés, l'appréciation subjective de la nature haineuse d'un contenu limite aussi la qualité des bases annotées qui peuvent être constituées. Des désaccords responsables de différences d'annotation entre experts, à hauteur de 10% des contenus à traiter, peuvent en effet être observés pour ce genre de tâches [4]. S'ajoute à cette difficulté, la présence de biais potentiellement encapsulés dans les bases d'annotations, qui, de fait, conditionnent la qualité des prédicteurs que l'on pourra espérer obtenir [5]. Malgré cela, les approches actuelles proposent souvent des performances intéressantes qui égalent même dans certains cas celles obtenues par des opérateurs humains [6].

ADRESSER NOTRE INTELLIGENCE COLLECTIVE

Qu'espérer alors de la recherche d'une approche automatisée de détection des contenus haineux ? Bien que de nombreuses recherches se concentrent activement sur le problème central d'identification des biais, sur l'obtention de bases annotées plus riches, sur l'amélioration des techniques algorithmiques sous-jacentes et leur interprétabilité, l'Intelligence Artificielle reste trop souvent fantasmée. Les techniques sur lesquelles l'Intelligence Artificielle repose ne permettront en effet que d'approcher la définition consensuelle imparfaite qui peut être amenée d'appréciations par nature subjectives et parfois discordantes de la notion de contenu haineux. Il s'agit alors d'admettre que la quête de l'automatisation cognitive, nécessitant l'appréciation de la diversité des complexités des individus, ne peut se résumer à l'appréciation d'un consensus imparfait par définition. Ce problème dépasse largement le cadre de l'analyse de contenus haineux : une invitation aux réflexions liées à l'usage éclairé des technologies offertes par les sciences du numérique. Réflexions qui ne s'offrent pas à une quelconque Intelligence Artificielle mais bien à notre Intelligence Collective.

[1] https://www.statista.com/statistics/272014/global-social-networks-ranked-by-number-of-users/

[2] https://deepmind.com/blog/article/alphazero-shedding-new-light-grand-games-chess-shogi-andgo

[3] https://deepmind.com/blog/article/alphafold-a-solution-to-a-50-year-old-grand-challenge-inbiology

[4] Davidson T, Warmsley D, Macy MW, Weber I. Automated Hate Speech Detection and the Problem of Offensive Language. ICWSM. 2017

[5] https://imtech.wp.imt.fr/2020/11/17/mieux-traquer-la-cyberhaine-lia-a-la-rescousse/ [6] https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0221152