LES HAUTS ET LES BAS DES RÉ­SEAUX DE NEU­RONES

La Recherche - - Dossier -

En 1957, Franck Ro­sen­blatt, de l’uni­ver­si­té Cor­nell, aux États-Unis in­vente le per­cep­tron, un neu­rone ar­ti­fi­ciel ca­pable d’ajus­ter la va­leur de ses poids sy­nap­tiques grâce à une règle d’ap­pren­tis­sage simple. En 1969, Mar­vin Mins­ky, pion­nier de l’in­tel­li­gence ar­ti­fi­cielle, cri­tique l’ap­proche de Ro­sen­blatt et ex­pose dans un ou­vrage les li­mites des ré­seaux de neu­rones, en par­ti­cu­lier leur in­ca­pa­ci­té à trai­ter des pro­blèmes non li­néaires. S’en­suit une pé­riode noire pour les ré­seaux neu­ro­naux. Dans les an­nées 1990, ils font leur grand re­tour grâce à l’in­ven­tion d’un al­go­rithme d’ap­pren­tis­sage bap­ti­sé « er­ror back-pro­pa­ga­tion », mis au point par le Fran­çais Yann LeCun, ac­tuel di­rec­teur du la­bo­ra­toire d’in­tel­li­gence ar­ti­fi­cielle de Fa­ce­book. En 1994, il uti­lise cette mé­thode sur un ré­seau de neu­rones bap­ti­sé LeNet, ca­pable de re­con­naître au­to­ma­ti­que­ment des ca­rac­tères ma­nus­crits. Ses tra­vaux donnent lieu à une tech­no­lo­gie de lec­ture au­to­ma­tique des chèques uti­li­sée dans de nom­breuses banques amé­ri­caines. Mais, pour nombre de pro­blèmes d’in­tel­li­gence ar­ti­fi­cielle, d’autres ap­proches se ré­vèlent beau­coup plus ef­fi­caces. À la fin des an­nées 1990, les ré­seaux de neu­rones entrent donc dans une pé­riode d’hi­ber­na­tion. Dix ans plus tard, les ca­pa­ci­tés de cal­culs pa­ral­lèles des or­di­na­teurs ex­plosent, no­tam­ment grâce à l’ap­pa­ri­tion des pro­ces­seurs gra­phiques (GPU). En pa­ral­lèle, le nombre de don­nées pro­duites chaque jour aug­mente ex­po­nen­tiel­le­ment. Le po­ten­tiel des ré­seaux de neu­rones s’ex­prime alors. En 2012, l’équipe de Geof­frey Hin­ton, de l’uni­ver­si­té de To­ron­to, au Ca­na­da, fait forte im­pres­sion lors d’une com­pé­ti­tion an­nuelle de tests d’al­go­rithmes pour la re­con­nais­sance des images. Son sys­tème, AlexNet, sur­classe tous les autres, et il est le seul à uti­li­ser des ré­seaux de neu­rones pro­fonds. De­puis, ces al­go­rithmes sont par­tout (re­con­nais­sance de la pa­role, des images, tra­duc­tion au­to­ma­tique) et font l’ob­jet d’in­ves­tis­se­ments mas­sifs.

Yann LeCun, pion­nier de l’ap­pren­tis­sage pro­fond.

Newspapers in French

Newspapers from France

© PressReader. All rights reserved.