Confiance. ai
Doper l’ingénierie avec de L’IA
Avec le consortium Confiance. ai, les industriels avancent sur la mise en oeuvre et l’industrialisation de composants D’IA dans les systèmes critiques. La robustesse, l’explicabilité et la transparence de ces technologies font l’objet d’une attention particulière, notamment pour des raisons sociétales. Des défis de taille sont encore à relever.
Lancé en 2019 pour 4 années, le programme Confiance. ai cofinancé par l’état et ses partenaires industriels va bientôt se clore. Ses responsables ont organisé un évènement au MINEFI, le 7 mars dernier, pour présenter les résultats et les défis en cours et à venir. Ce programme avait pour but de faciliter l’utilisation de composants D’IA dans des systèmes critiques. Ce qui suppose que les industriels puissent les utiliser avec des garanties en particulier de sécurité, de robustesse et d’explicabilité. « Sans IA responsable et sans confiance, il n’y a pas de projets D’IA possibles pour des applications critiques » , ont souligné les intervenants Bernhard Quendt, CTO de Thalès, Mohammed Sijelmassi, CTO de Sopra Steria, et Baladji Soussilane, VP Digital et IT Group d’air Liquide lors de la première table ronde. Dans cette logique, l’objectif du programme était donc de pouvoir formaliser des méthodes et d’identifier des outils chargés de certifier des composants D’IA dits « de confiance » . Il s’agissait également d’outiller les projets pour faciliter l’industrialisation et la maintenance de ces composants. Enfin, l’objectif restait de proposer des solutions aussi génériques que possible aptes à s’adapter à tous les contextes industriels.
Les équipes de Confiance. ai, issues de Systemx et de partenaires industriels et académiques, étaient constituées pour chaque cas d’usage. Elles ont commencé par lister les processus d’ingénierie, et par les « revisiter » pour éventuellement pouvoir intégrer des composants D’IA de la même manière que tout autre composant. Les algorithmes retenus étaient de l’apprentissage machine dans quasiment tous les cas. Cette approche a nécessité de faire travailler ensemble et d’adopter une terminologie commune par de nombreux métiers : data scientist, responsable de la sécurité, de la fiabilité… Le but était de formaliser les propriétés de confiance attendues, robustesse par exemple, de définir la méthode et d’identifier les outils capables de les garantir. Une démarche qui est passée par l’identification des algorithmes open source existants ou d’outils propriétaires, souvent développés par les start- ups partenaires du programme. Le projet s’est concrétisé entre autres par la définition d’un état de l’art des outils et de benchmark. Exemple, un des composants dénommé Kaa prend la forme d’une plateforme embarquant des plugins d’explicabilité comme Captum pour tester les modèles. Le programme n’avait pas vocation à développer des algorithmes ou des composants. « Nous avons adopté une approche de bout en bout, a souligné Juliette Mattioli, présidente du comité de pilotage. Depuis la conception de composants D’IA dans un système critique à sa maintenance en passant par la validation de jeux de données, le monitoring… ainsi que « l’embarquabilité » . Ce dernier point est souvent un facteur déterminant dans certains cas d’usage, défense et aéronautique notamment, qui imposent des contraintes en termes de ressources.
Une dizaine d’industriels ont participé au projet en apportant leurs propres cas d’usage. Ces derniers ont servi de banc d’essai. Pour assurer le caractère générique des méthodes et des outils, ceux- ci ont été testés sur un autre cas d’usage que celui à partir duquel ils ont été conçus. Ces cas d’usage portaient majoritairement sur
la reconnaissance d’images et sur l’analyse de séries temporelles. Parmi les cas présentés, Air Liquide considère comme une donnée critique l’état des stocks de bouteilles d’oxygène. Préalablement au projet, une application de reconnaissance d’images basée sur L’IA et embarquée dans des caméras sur des portiques comptabilisait ces bouteilles sur les camions quand ces derniers rentraient dans les usines. Les résultats restaient dépendants des conditions météorologiques et de la luminosité. Le but était d’améliorer ce comptage. Les travaux se sont attachés à améliorer la qualité des données, à savoir pré- entraîner les algorithmes avec des données pour éliminer les gouttes de pluie, les flocons de neige ou encore, transformer des photos de nuit dans leur équivalent de jour. Avec cette méthode, la précision de comptage est passée à 98 % et le nombre d’erreurs a baissé de 50 %. Les problématiques plus spécifiquement analysées dans ce contexte ont été la gestion du cycle de vie de la donnée, la robustesse et la supervision. De son côté, Renault a travaillé sur la vérification de la qualité des soudures critiques sur les véhicules, une tâche jusque- là dévolue à un collaborateur. Une application existait déjà, mais ses résultats, une précision de 97 %, était considérée par le constructeur comme insuffisante pour un déploiement opérationnel. Ce projet a ciblé la robustesse, l’explicabilité et les fonctions de monitoring. Toujours dans le domaine de la reconnaissance d’images, un composant impliquant Airbus a pour but une aide à l’atterrissage, et Valéo, des aides à la conduite. Dans ce dernier cas, l’entraînement a été effectué avec des images réelles et d’autres générées synthétiquement. Data Scientist sur le projet, Amélie Bosca détaille : « il reste des erreurs. Exemple, sur une photo de nuit, l’algorithme a transformé un poteau en feu de signalisation » . Autre défi, les données utilisées pour les étapes d’entraînement des réseaux ne sont plus forcément en phase avec la réalité. En d’autres termes, le domaine opérationnel a évolué. Exemple, pendant la période du Covid, L’IA a vu apparaître des piétons masqués. Pour garantir des
résultats acceptables, des contrôles basés cette fois- ci sur des systèmes classiques de règles sont chargés de sécuriser les composants.
Des résultats en ligne
Considérés comme un « bien commun » numérique destiné avant tout à booster l’industrie française et européenne, les résultats du projet, méthodes et logiciels, sont disponibles sur le site www. confiance. ai. L’IA générative n’est pas incluse dans le catalogue. « Les LLM ne cochent aucune case de L’IA de confiance et restent attaquables » , a souligné Fabien Mangeant, directeur scientifique informatique et data science chez Air Liquide et président du comité de direction de Confiance. ai. Pour autant, plusieurs projets, Air Liquide compris, ont fait appel à cette technologie. Elle n’a été utilisée que pour enrichir les jeux de données utilisées pour l’apprentissage, par exemple pour générer des images avec des gouttes de pluie, de la neige… Le site propose également les résultats scientifiques, à savoir les articles publiés, et technologiques. Restriction prévisible, certains composants ne sont pas accessibles en ligne, certains industriels en gardant pour eux une partie. Au total, un catalogue de 126 composants est proposé, les regroupant en ensembles fonctionnels. On y trouve des librairies python pour la robustesse, le monitoring, la gestion du cycle de vie de la donnée, l’explicabilité, la quantification de l’incertitude, ou encore les données synthétiques. Les méthodes ( sur https:// bok. confiance. ai/) proposées incluent la formalisation des propriétés de confiance, robustesse… et les workflows chargés de les valider. Si le projet se termine en septembre, ses responsables espèrent un financement pour une V2. Ils ont noué plusieurs partenariats à l’international, avec l’organisation allemande VDE et avec un programme similaire québécois. Le projet est présenté comme une initiative visant à rassembler des acteurs du monde entier autour d’une feuille de route commune pour L’IA.