LES APPLICATIONS MILITAIRES DE LA RÉALITÉ AUGMENTÉE
La réalité augmentée (AR, ou Augmented Reality) s’inscrit dans les efforts de l’humain pour s’affranchir de ses limitations physiques, ici pour accroître la maîtrise de son environnement en contrôlant la façon dont celui-ci lui apparaît et en décuplant le domaine du visible par l’adjonction d’éléments qui, par moments, peuvent aussi relever du domaine de l’invisible. De cette manière, L’AR démultiplie en temps réel notre conscience du monde et nous soulage d’une partie de l’effort que l’expansion et le maintien de cette conscience nécessitent.
L’informatique et les progrès réalisés dans le domaine des interfaces utilisateur permettent de modeler tous les aspects d’un monde virtuel et, même si l’on ne peut pas faire se plier la réalité à nos besoins, cette capacité nous permet de choisir une autre perspective que l’on y superpose : si L’AR est souvent perçue à travers le sens de la vue, elle ne s’y limite pas et les autres sens peuvent également en faire partie. D’une manière générale, L’AR se définit par le mélange d’informations réelles et virtuelles pour améliorer la perception de la réalité.
À l’avenir, L’AR permettra de faire appel aux cinq sens et de développer des technologies de complémentation, par exemple une AR basée sur le son pour les non-voyants. L’AR basée sur le toucher (technologies haptiques) est en développement, notamment dans certains domaines médicaux. Aujourd’hui, les dispositifs de projection sont principalement visuels et portés sur la tête (Head/ Helmet Mounted Display), mais d’autres moyens sont à l’étude : Smartphones, GPS, bracelets, montres, pare-brise de véhicules, panneaux haptiques, etc.
Certaines de ces technologies sont déjà employées dans les simulateurs d’entraînement pour les groupes d’infanterie et de cavalerie, mais elles manquent encore de maturité pour être intégrées à grande échelle. L’AR connaît un sursaut sans précédent de la demande des civils comme des militaires.
La réalité augmentée (AR) permettra de faire appel aux cinq sens et de développer des technologies de complémentation, par exemple une AR basée sur le son pour les non-voyants. L’AR basée sur le toucher (technologies haptiques) est en développement, notamment dans certains domaines médicaux.
L’AVIATION OUVRE LA VOIE
Les armées utilisent depuis les années 1990 des technologies de réalité augmentée intégrées dans les casques des pilotes d’aéronefs pour afficher des informations en superposition avec le monde visible à l’oeil nu et accélérer le temps de réaction de ceux-ci, un paramètre crucial en combat aérien où nombre de décisions doivent être prises trop rapidement pour laisser le temps à leurs yeux d’effectuer des allers-retours entre l’extérieur et le panneau d’instruments. Si les premiers viseurs reproduisant les données transmises par le radar sont apparus au sein de la Royal Air Force en 1942 avec le GGS Mk2 équipant le Mosquito pour le combat nocturne, les
Photo ci-dessus :
Un loadmaster s'entraîne à la manipulation de charges dans un C-130. La réalité augmentée devrait permettre de faciliter la formation et le maintien des compétences. (© US Air Force)
viseurs tête haute (HUD, ou Head Up Display) ont été développés à partir des années 1950 par l’office of Naval Research de L’US Navy, puis installés en 1958 sur le bombardier Buccaneer de la Royal Navy avec le Strike Sight.
C’est un pilote d’essai français, Gilbert Klopfstein, qui mit au point en 1975 le premier HUD contemporain et créa un système de symboles standardisé pour faciliter la conversion des pilotes d’un appareil à l’autre. Au cours des années 1970, les instruments de visée et de navigation affichés sur les HUD furent complétés par un affichage directement sur la visière de casque avec le premier Helmet Mounted Display (HMD) inventé au sein de l’aviation sud-africaine, rapidement imitée par les Soviétiques et les Américains. En 1984, L’AH-64 Apache fut le premier hélicoptère doté de l’integrated Helmet And Display Sight System (IHADSS) grâce auquel le pilote pouvait diriger la tourelle du canon de 30 mm en balayant son environnement d’un simple mouvement de tête, tout en ayant les données affichées en permanence dans le viseur placé devant son oeil, avec un champ de vision de 40°. Les pilotes de chasse américains bénéficiaient du DASH (Display And Sight Helmet) puis du Joint Helmet Mounted Cueing System (JHMCS), utilisés sur les F-15, F-16 et F-18. Le récent Scorpion HMCS, qui permet d’afficher les images recueillies par les capteurs de vision nocturne, est aussi le premier à afficher des couleurs. Ces dispositifs viennent en complément du HUD présent sur les appareils précités. Aujourd’hui, le Helmet Mounted Display System présent sur le F-35 offre des performances suffisantes pour que ce dernier n’ait plus besoin de HUD, ce qui donne la mesure du flux de données relayé par les HMD des appareils de 5e génération.
LES ORIGINES DE LA RÉALITÉ AUGMENTÉE
En dehors de l’aéronautique militaire, le concept D’AR est apparu dans les années 1950 lorsque le cinéaste Morton Heilig, dont la pensée était d’utiliser le cinéma pour engager tous les sens du spectateur, entama des travaux qui aboutirent au Sensorama en 1962. C’était un dispositif mécanique qui ne permettait pas d’interagir avec l’affichage, mais diffusait un film avec des sons, des odeurs, des courants d’air et des vibrations. En 1968, le Head Mounted Display, surnommé «Épée de Damoclès», fut créé par Ivan Sutherland. C’était un écran en transparence permettant d’afficher des graphismes en 3D fil de fer. En 1975, Myron Krueger inventa le Videoplace, un ordinateur coordonnant les mouvements d’un objet graphique avec les actions d’un utilisateur pour créer un environnement virtuel. Des caméras capturaient les silhouettes des participants et les projetaient sur un écran en reproduisant leurs interactions avec les objets virtuels.
Le terme de réalité augmentée apparut en 1992, décrivant à l’époque un système destiné à aider les ouvriers dans la fabrication des avions, et marqua la séparation entre réalité augmentée et réalité virtuelle. L’AR, par principe, découle du mélange entre éléments virtuels et réels, les premiers venant augmenter les seconds. Introduit en 1993, Virtual Fixtures était un premier prototype utilisant des informations sensorielles projetées sur un espace de travail grâce à un binoculaire et permettant de contrôler un bras robotique en fonction des mouvements du bras de l’opérateur. La même année, KARMA (Knowledge-based Augmented Reality Maintenance Assistant) utilisait un afficheur de tête de type HMD pour aider à la maintenance d’appareils tels que des imprimantes laser. Plus proche des applications militaires, AR Quake apparut en 2000 en tant qu’extension de Quake, un jeu de tir à la première personne qui utilisait un HMD et un ordinateur intégré permettant aux logiciels de connaître la position et l’orientation du corps et de la tête du joueur : les murs et couloirs du jeu n’étaient pas affichés, mais les personnages et éléments de jeu étaient plaqués sur l’environnement réel du joueur. AR Quake fut la première application AR en environnement extérieur. Les systèmes AR ont longtemps été limités par les technologies attenantes : l’affichage, le suivi de mouvement, la miniaturisation et la puissance des processeurs, l’interface utilisateur et la gestion des flux de données.
L’AR, par principe, découle du mélange entre éléments virtuels et réels, les premiers venant augmenter les seconds. Introduit en 1993, Virtual Fixtures était un premier prototype utilisant des informations sensorielles projetées sur un espace de travail.
AVANTAGES ET INCONVÉNIENTS
L’intégration de technologies AR dans les systèmes de combat présente de nombreux avantages, au premier rang desquels un situational awareness accru, tant pour les combattants débarqués que pour ceux embarqués dans des blindés, avions et navires. Elle peut aider au ciblage en temps réel, améliorer la lecture du terrain et faciliter la planification des missions.
En temps de paix, d’autres avantages émergent dans toutes les phases de l’entraînement : allègement des coûts de maintien en condition opérationnelle, sécurisation des processus d’entraînement, enrichissement des simulations grâce aux possibilités de customisation et à la multiplicité de terrains représentés. Toutefois, l’intégration de L’AR n’est pas sans risque : la charge cognitive, déjà lourde et s’ajoutant à un niveau de stress très variable, doit être surveillée de près pour éviter toute saturation
informationnelle qui serait contre-productive et dangereuse au niveau individuel et collectif, ainsi que pour les non-combattants. L’un des challenges posés aux AR actuelles et futures repose sur trois principaux facteurs : la surabondance de choix possibles, la surcharge de réflexion nécessaire pour décider d’une action et le manque de clarté des paramètres à prendre en compte pour effectuer un choix. Enfin, pour les opérations militaires, s’y ajoute la contrainte de la fiabilité : une erreur d’affichage de couleur et les troupes alliées ne sont plus distinguées des forces adverses, l’intelligence artificielle peut se tromper et désigner un non-combattant comme une menace. Enfin, si les points de marquage peuvent être nombreux dans un contexte de combat urbain et faciliter le mapping, ils le sont beaucoup moins dans le désert ou en mer.
OPÉRATIONS EMBARQUÉES : LE VÉHICULE DE VERRE
Les ingénieurs de BAE, forts de 60 ans d’expérience depuis la conception du HUD du Buccaneer, travaillent actuellement sur l’intelligent Situational Awareness System (ISAS), un prototype D’AR pour le véhicule d’infanterie CV90 : un ensemble de capteurs de suivi diffusant aux combattants embarqués des données leur permettront de visualiser en temps réel la position des forces amies et ennemies et la configuration du terrain sans s’exposer au feu en sortant par la tourelle et sans se contenter des habituels périscopes que l’on trouve sur les blindés. L’ISAS améliorerait ainsi la vision diurne/nocturne à 360° et la survivabilité de l’équipage tout en réduisant sa charge cognitive, faisant du CV90 un véritable « véhicule de verre », rendu transparent pour son équipage qui peut voir son environnement malgré le blindage. Il repose sur trois piliers : les capteurs embarqués, la gestion des informations et l’interface avec l’équipage. Ces trois principes s’appliquent aussi bien aux blindés qu’aux avions, navires de surface et sous-marins. Ces derniers sont particulièrement représentatifs tant leurs équipages travaillent à l’aveugle dans un environnement fermé.
OPÉRATIONS DÉBARQUÉES : LE HUD DU FANTASSIN
Pour L’US Army, la réalité augmentée au combat est en phase de test avec un programme en plusieurs éléments baptisé Fully Digital Soldier Architecture. Le premier élément, testé en 2018 par une Armored Brigade Combat Team, réside dans de nouvelles jumelles de vision nocturne, les Enhanced Night Vision Goggle-binocular (ENVG-B), qui remplissent trois fonctions : vision nocturne, vision thermique et affichage du point d’impact théorique et de la position des éléments amis.
Précédemment, l’enhanced Night Vision Goggle III était une optique thermique montée sur arme et affichait, sur un monocle porté devant l’oeil, le réticule et l’angle de tir pour pouvoir faire feu depuis un abri ou à un angle de mur sans exposer le fantassin. Les EVNG-B, qui incluent également cette capacité grâce à une interconnectivité sans fil avec le réseau de données Nett Warrior et à un module sous Android, le Tactical Assault Kit (TAK), doivent être fournies à 10 000 soldats et à 3 100 Marines d’ici à 2021.
Dans le futur, L’US Army souhaite développer un affichage multifonctions dans le cadre du programme Integrated Visual Augmentation System (IVAS), basé sur l’hololens 2 de Microsoft, qui vient de remporter un marché de 480 millions de dollars pour en produire 100 000 exemplaires. Les Hololens 1 et 2 sont des lunettes AR
L’intégration de L’AR n’est pas sans risque : la charge cognitive, déjà lourde et s’ajoutant à un niveau de stress très variable, doit être surveillée de près pour éviter toute saturation informationnelle qui serait contre-productive et dangereuse.
embarquant un processeur fonctionnant sous Windows 10 et vendues plus de 3500 dollars. Ce système devrait être militarisé pour répondre aux normes militaires de rusticité et regrouper vision nocturne et thermique, afficheur AR pour le situational awareness au combat avec des capteurs mesurant les signes vitaux du fantassin (rythmes cardiaque et respiratoire, taux de fatigue, surveillance contre le trauma cérébral) et affichant la topographie, les paramètres de mission, la localisation de l’objectif, les positions et mouvements des unités amies/ ennemies, des appuis ou des avions, et les flux vidéo captés par les moyens ISR, tout en permettant au combattant de paramétrer le type d’informations qu’il souhaite recevoir sur ses lunettes selon ses préférences et les besoins de la mission.
L’appareil servira aussi à l’entraînement en affichant des cibles virtuelles pour les drills individuels et collectifs. Pour les débriefings d’exercice, L’IVAS pourrait recueillir des données telles que le suivi de mouvement de l’oeil, un flux vidéo de la vision du tireur et le suivi du placement du frein de bouche de l’arme pour vérifier la discipline de sécurité du soldat. L’ensemble pourrait aussi intégrer un dispositif de protection auditive et ferait partie d’un programme d’équipement plus large : le Fully Digital Soldier Architecture (FDSA) qui comprendrait des lunettes AR, le TAK, des optiques montées sur arme et un mini-uav.
LES OPÉRATIONS NAVALES
Suivant une vision semblable au CV90, BAE développe pour les officiers de pont des lunettes AR destinées à faciliter la direction des opérations navales en leur fournissant des informations sur la localisation des éléments amis/ennemis, leur direction et leur niveau de menace. Aujourd’hui, les officiers de quart transmettent les informations par radio à la salle des opérations, avec la tâche parfois difficile de trier et transmettre des données verbales et visuelles. Des lunettes AR afficheraient un certain nombre d’informations en temps réel, permettant aux officiers de se focaliser sur la prise de décision et d’interagir directement avec le système de combat. De son côté, L’US Navy développe le casque Gunnar, destiné à accroître la réactivité et l’efficacité des mitrailleurs embarqués sur les navires.
LES PILOTES DU FUTUR
Les casques AR des pilotes sont déjà en service depuis des décennies, et ne cessent d’être améliorés : outre les symboles visuels, les pilotes peuvent grâce à des signaux sonores en 3D déterminer d’où peut surgir une potentielle menace. La manipulation des sons ouvre le champ du spatial awareness grâce à L’AR, complétée par des signaux tactiles envoyés par des joysticks actifs : par exemple, une vibration correspondant à un certain code peut signifier au pilote qu’il atteint les limites de l’enveloppe de vol de son avion durant une manoeuvre, lui permettant d’ajuster celle-ci pour éviter le danger. À l’avenir, des vêtements tactiles tels que des gants haptiques pourraient apporter plus d’informations.
L’AR À L’ARRIÈRE
En dehors des unités de mêlée, L’AR fait progressivement son apparition dans la logistique : des lunettes AR sont à l’étude pour les conducteurs, les maintenanciers et les logisticiens. Ainsi, un tringlot peut travailler avec un large panel de véhicules au prix d’un entraînement réduit grâce à une multiplicité de simulateurs. En ce qui concerne la maintenance, Airbus et l’aviation espagnole développent un système basé sur la réalité augmentée pour effectuer les inspections en coordination avec un drone. Mis au point en premier lieu pour les appareils de transport tels que L’A400M, le C295 et le CN325, il en réduit la charge de maintenance et accroît leur taux de disponibilité.
Enfin, l’entraînement est un secteur où la réalité augmentée prend également sa place : L’US Marine Corps développe le Marine Tactical Decision Kit, un système de simulation en réalité virtuelle (VR) permettant de travailler les processus de décision au niveau tactique. Au sein de L’US Army, c’est le Synthetic Training Environment (STE) qui est à l’étude : un simulateur AR plaçant les soldats dans différents environnements opérationnels pour recréer des scénarios qui ajoutent aux contraintes physiques le stress mental d’une opération de plus en plus réaliste. Modulaire, le STE serait utilisé aussi bien pour l’infanterie, la cavalerie, les unités de Stryker que pour les Combat Aviation Brigade Combat Team. Le STE permettra aussi de répéter des missions et d’expérimenter de nouvelles doctrines. Enfin, le Department of Defense étudie un système AR/VR pour l’entraînement à la guerre NRBC. Ce simulateur permettrait aux soldats de toutes les branches d’apprendre et de réviser les procédures à suivre en indiquant les zones contaminées, les points de détonation d’armes NRBC et les sources de radiation.
La manipulation des sons ouvre le champ du spatial awareness grâce à L’AR, complétée par des signaux tactiles envoyés par des joysticks actifs.