Quels principes juridiques pour les systèmes d'armes létales autonomes ?

OPINION. La réalité a dépassé la science-fiction. Les robots « tueurs » sont dans les rangs de notre armée et de celles d'autres États. Il semble urgent de réglementer l'utilisation de ces engins autonomes. Par Nathalie Devillier, Grenoble École de Management (GEM) (*)

OPINION. La réalité a dépassé la science-fiction. Les robots « tueurs » sont dans les rangs de notre armée et de celles d’autres États. Il semble urgent de réglementer l’utilisation de ces engins autonomes. Par Nathalie Devillier, Grenoble École de Management (GEM) (*)

L'intelligence artificielle (IA) est intrinsèquement à double usage (civil et militaire), de même que les systèmes informatiques. Une réglementation efficace en la matière devrait faire en sorte que l'IA utilisée par le secteur de la défense soit responsable, équitable, traçable, fiable et gouvernable. Or, malgré l'évidence des risques liés aux SALA (systèmes d'armes létales autonomes), celles-ci ne font à ce jour l'objet d'aucune réglementation internationale ad hoc.

Dans quelle mesure les règles du droit international (tant public que privé) et du droit de l'Union européenne sont-elles adaptées à l'essor de ces technologies ? Le rapport que le Parlement européen a adopté le mercredi 20 janvier cherche à répondre à cette interrogation.

AUTORITÉ DE L'ÉTAT : SOUVERAINETÉ NUMÉRIQUE, RÉSILIENCE STRATÉGIQUE ET MILITAIRE

Le rapport observe en filigrane que les États membres doivent agir avec efficacité pour réduire leur dépendance à l'égard des données étrangères et veiller à ce que :

« la détention, par de puissants groupes privés, des technologies les plus élaborées en matière d'IA n'aboutisse pas à contester l'autorité de la puissance publique et encore moins à lui substituer des entités privées, en particulier lorsque le propriétaire de ces groupes privés est un pays tiers. »

Or l'écosystème mondial de l'IA est, précisément, dominé par les géants du numérique américains (GAFAM) et chinois (BATX : Baidu, Alibaba, Tencent, Xiaomi). Ces entreprises s'engagent avec d'énormes moyens dans la bataille de l'IA, telles des nations souveraines. Elles développent pour cela des technologies qu'utilisent volontiers les grandes puissances, engagées dans une « course à l'armement numérique ».

Si la résilience stratégique implique de ne jamais être pris au dépourvu, notamment en temps de crise, l'IA n'est pas une « simple » révolution technologique source de « destruction créatrice », selon l'expression de Schumpeter. Appliquée au domaine militaire, elle représente un outil stratégique dans un contexte où les acteurs, s'ils n'en sont pas au stade de la confrontation, ne s'engagent pas encore suffisamment sur le terrain de la coopération.

Concernant les SALA, les principes généraux du droit international humanitaire créent un véritable hiatus souligné par le rapport puisque seuls les êtres humains sont dotés de capacités de jugement. Le Sénat français remarque justement que :

« les SALA permettraient en effet d'éliminer les barrières psychologiques à l'utilisation de la force létale, ce qui n'est pas le cas pour les drones qui restent pilotés par un être humain (d'où le syndrome post-traumatique parfois observé chez des pilotes de drones). »

Les principaux États-nations militaires développent des SALA à un rythme rapide car ils ont un intérêt propre à créer les capacités offensives les plus efficaces, indépendamment du cadre juridique. Les États-Unis développent le Sea Hunter, navire autonome transocéanique de 60 mètres, dédié à la lutte anti-sous-marine et capable de naviguer dans les eaux internationales en s'adaptant sans intervention humaine aux règles de navigation en vigueur. La Russie, elle, mise avant tout sur la robotisation. Elle a développé un petit char capable de suivre un soldat et de tirer vers la même cible.

Demain, un État ne pourrait-il pas répondre par une guerre conventionnelle à une cyberattaque ? Il est donc plus que nécessaire d'examiner l'incidence que peut avoir l'IA, en tant que facteur stratégique, sur la politique de sécurité et de défense commune de l'Union européenne.

LES RISQUES ÉTHIQUES DES SYSTÈMES D'ARMES LÉTALES AUTONOMES

Les principes juridiques de précaution, de distinction, d'intégrité territoriale, de non-intervention et de recours à la force issus du droit de la guerre restent pertinents face à une technologie innovante car le principe de nouveauté ne peut être invoqué en soutien à une quelconque dérogation quant au respect des normes actuelles du droit international humanitaire.

Or, le droit relatif à l'emploi de la force, tel que consacré par la Charte des Nations unies

(abstention du recours à la menace ou à l'emploi de la force dans les relations internationales), et le droit applicable dans les conflits armés reposent notamment sur deux principes cardinaux auxquels les SALA restent soumis :

La distinction entre combattants et non-combattants (les États ne doivent jamais prendre pour cible des civils, ni en conséquence utiliser des armes qui sont dans l'incapacité de distinguer entre cibles civiles et cibles militaires) ;

La clause de Martens, selon laquelle les personnes civiles et les combattants restent sous la sauvegarde et sous l'empire des principes du droit des gens, tels qu'ils résultent des usages établis, des principes de l'humanité et des exigences de la conscience publique.

Le Parlement européen souhaite donc que les SALA ne soient utilisés que dans des cas précis et selon des procédures d'autorisation fixées à l'avance de façon détaillée dans des textes dont l'État concerné (qu'il soit membre ou non de l'OTAN) assure l'accessibilité au public, ou au moins à son Parlement national.

En 2018, le secrétaire général de l'ONU et le Parlement européen avaient appelé à l'interdiction de la mise au point, de la production et de l'utilisation de SALA « avant qu'il ne soit trop tard ».

Pour que les technologies soient centrées sur l'humain, elles doivent être utilisées au bénéfice de l'humanité et du bien commun, et avoir pour but de contribuer au bien-être et à l'intérêt général de leurs citoyens.

De plus, une personne doit avoir la possibilité de corriger, d'interrompre ou de désactiver une technologie fondée sur l'IA en cas de comportement imprévu, d'intervention accidentelle, de cyberattaques et d'ingérence de tiers. Cela implique que toute décision prise par un être humain qui s'appuierait exclusivement sur des données et des recommandations générées par des machines est à proscrire.

Ce principe est à intégrer dès la conception des systèmes d'IA et devrait également s'intégrer via des lignes directrices sur la supervision et la surveillance humaines. C'est ce qui explique la position du Parlement européen :

« Les systèmes totalement soustraits à un contrôle humain (human off the loop) et à une surveillance humaine doivent être interdits sans aucune exception et en toutes circonstances. »

RÉGLEMENTER POUR ANTICIPER LES ÉVOLUTIONS TECHNOLOGIQUES

Le Parlement européen constate que les lignes directrices sur l'éthique du groupe d'experts de haut niveau ne sont pas suffisantes pour garantir que les entreprises agissent loyalement et assurent la protection effective des individus, et que le Livre blanc de la Commission européenne sur l'IA ne tient pas compte des aspects militaires de l'utilisation de l'intelligence artificielle.

Suite à l'adoption par l'Assemblée générale de l'ONU de sa résolution « Favoriser le comportement responsable des États dans le cyberespace dans le contexte de la sécurité internationale », deux groupes ont été formés pour guider les pourparlers :

Le Groupe d'experts gouvernementaux chargés d'examiner les moyens de favoriser le comportement responsable des États dans le cyberespace dans le contexte de la sécurité internationale (GEG), M. Guilherme de Aguiar Patriota (Brésil),

Le Groupe de travail à composition non limitée sur les progrès de l'informatique et des télécommunications dans le contexte de la sécurité internationale.

Le premier rassemble des experts gouvernementaux des Nations unies des hautes parties contractantes (États) à la Convention sur certaines armes classiques (CCAC), et le second tous les États membres de l'ONU qui peuvent auditionner des représentants de l'industrie, des ONG et des membres académiques.

L'UE, dans son ensemble, n'a accepté que récemment de discuter des implications de l'évolution de l'IA et de la numérisation dans le secteur de la défense. Aujourd'hui, le Parlement européen estime que l'Union doit aider les États membres à harmoniser leur stratégie en matière d'IA militaire. Le Parlement appelle également à faire progresser les travaux d'élaboration d'un nouveau cadre normatif mondial vers un instrument juridiquement contraignant axé sur les définitions, les concepts et les caractéristiques des technologies émergentes relevant des SALA. Ces principes sont bien connus des opérateurs d'IA du secteur civil :

Loyauté, transparence, équité, gouvernabilité précaution ;

Responsabilité et imputabilité ;

Obligation de rendre des comptes, explicabilité et traçabilité.

L'explicabilité vise ici à déterminer si, et dans quelle mesure, l'État, en tant que sujet de droit international et autorité souveraine, peut agir avec l'aide de systèmes d'IA dotés d'une certaine autonomie sans enfreindre les obligations découlant du droit international. Elle permet de vérifier par quel procédé les technologies d'IA à haut risque parviennent à des décisions, notamment en ce qui concerne les fonctions critiques telles que la sélection et l'engagement d'un objectif et le degré d'interaction nécessaire entre l'humain et la machine, y compris la notion de contrôle et de jugement humains. Cela nécessitera une formation appropriée des personnels civil et militaire (professions réglementées, activités liées à l'exercice de l'autorité de l'État, comme l'administration de la justice) afin de leur permettre de déceler avec précision les discriminations et les partis pris dans les ensembles de données et de les éviter.

Sur la responsabilité, le Parlement recommande que l'identité de la personne responsable de la décision de l'IA puisse être établie et retient la responsabilité des États membres, des parties à un conflit et des individus quant aux actions et effets prévisibles, accidentels ou indésirables des systèmes fondés sur l'IA.

Un contrôle ex ante, miroir de l'étude d'impact, permettrait dès la conception et à tout moment, lors des phases de développement, d'essai, de déploiement et d'utilisation de systèmes fondés sur l'IA, d'identifier les risques potentiels, notamment celui de victimes collatérales parmi la population civile, de pertes accidentelles de vies humaines et de dommages aux infrastructures.

Un contrôle ex post soutenu par des systèmes de certification et de surveillance rigoureux, ainsi que par des mécanismes clairs d'audit et des tests de résistance spécifiques visera à faciliter et à assurer le respect de cette conformité. Ces audits devraient être effectués périodiquement par une autorité indépendante qui superviserait les applications d'IA à haut risque utilisées par les pouvoirs publics ou les autorités militaires.

RÉGLEMENTATION OU PROLIFÉRATION DES SALA ?

L'examen du droit international conventionnel ne contient pas d'interdiction de recourir aux SALA. Si l'on examine le droit international coutumier, on constate que les membres de la communauté internationale sont profondément divisés sur le point de savoir si le non-recours aux SALA constitue l'expression d'une opinio juris (conscience d'être lié par une obligation juridique, conviction que l'on doit adopter, un comportement donné).

L'apparition, en tant que lex lata (loi qui existe), d'une règle coutumière prohibant spécifiquement l'emploi des SALA se heure aux tensions qui subsistent entre 28 États qui sont en faveur d'un instrument juridiquement contraignant interdisant les armes totalement autonomes (Autriche, Brésil, Chili). En 2018, lors de la réunion annuelle des États parties à la Convention sur certaines armes classiques, une minorité d'États a utilisé les règles résultant du consensus pour bloquer toute progression sur ce terrain. La Corée du Sud, Israël, les États-Unis et la Russie se sont déclarés contre la négociation d'un nouveau traité, alors que la France envisage davantage un code de conduite qu'un traité d'interdiction.

L'Assemblée générale de l'ONU a adopté en décembre 2018 une résolution intitulée « Favoriser le comportement responsable des États dans le cyberespace dans le contexte de la sécurité internationale ». En novembre 2020, elle a adopté quinze projets de résolutions, dont deux concurrents, portant sur la sécurisation du cyberespace : l'un américain, appuyé par les pays de l'UE notamment, l'autre russe, qui prévoit la création d'un autre groupe de travail pour remplacer ceux existant dès 2021. Au nom de l'Union européenne, la représentante de l'Allemagne a expliqué qu'elle s'opposerait au projet de résolution russe qui va à l'encontre de la résolution

A/73/27 puisque les travaux sont en cours et non finalisés. (*) Par Nathalie Devillier, Professeur de droit, Grenoble École de Management (GEM).

La version originale de cet article a été publiée sur The Conversation.