« Quand nous mettrons le pied sur l’accélérateur, nous serons difficiles à égaler » (Joelle Pineau, directrice de la recherche en IA chez Meta)

dont nous allons garder une seule version. Ce qui est amusant, comme vous l’avez souligné, c’est que les modèles de petites tailles sont souvent plus populaires parmi les chercheurs, car ils permettent d’expérimenter beaucoup plus rapidement.

Mark Zuckerberg a lui-même annoncé que Meta sera doté d’ici la fin de l’année de l’équivalent de 650.000 H100, le processeur incontournable de Nvidia. Vous devenez, de fait, une des entreprises les mieux dotées en GPU [nom des processeurs de Nvidia, ndlr] au monde. Qu’est-ce que cette nouvelle donne change pour vous ?

Nous sommes toujours à court de GPU [rires] ! Plus sérieusement, les chercheurs en veulent toujours plus. L’année 2023 a été particulièrement difficile sur ce point parce que nous avons brusquement accéléré nos efforts : nous avons créé l’équipe GenAI [dédiée à l’IA générative, ndlr], en plus des laboratoires Fair [Fundamental AI Research, ndlr] déjà en place, et les équipes produit se sont aussi mises à beaucoup plus travailler sur l’IA. Nous avons donc vécu une période où nos ressources étaient particulièrement limitées par rapport à nos besoins, et nous avions besoin de ces GPU supplémentaires. Le seul problème désormais, c’est que la construction de datacenters prend environ deux ans, donc nous commençons tout juste à sortir de la situation d’embouteillage. Le développement de Llama 3 n’a donc pas pleinement profité de ces nouvelles capacités de calcul.

Concrètement, à quoi servent ces GPU dans le travail quotidien de vos équipes ?

À deux choses : faire plus d’essais de modèles, et faire des essais de plus grande ampleur. La difficulté, c’est de trouver l’équilibre entre ces deux efforts. Si nous faisons trop de petits essais, nous progresserons lentement, car certains comportements du modèle ne peuvent s’observer qu’à l’échelle. Inversement, si nous lançons l’entraînement d’un grand modèle sans les essais suffisants au préalable, nous risquons d’aboutir à des résultats décevants.

Qu’en est-il de la guerre des talents ? Pendant les années 2010, Meta et Google étaient les références incontournables de l’écosystème de l’intelligence artificielle. Aujourd’hui plusieurs startups très en vue, à commencer par OpenAI, jouent des coudes avec vous...

Nous ressentons toujours la tension dans les recrutements, mais beaucoup moins qu’il y a un ou deux ans. Je pense que notre approche open source attire une partie des chercheurs, qui viennent frapper à notre porte avant tout pour cette raison. Ensuite, c’est toujours surprenant de voir à quel point les chercheurs suivent la trace des GPU. Il faut dire que sans puissance de calcul suffisante, ils risquent de ne pas pouvoir tester leurs idées. Alors ils vont vers les entreprises comme nous, qui leur offrent le plus de ressources. Enfin, la compensation joue toujours un rôle important, d’autant plus que les grosses startups ont désormais les moyens de s’aligner financièrement.

Si vous avez choisi d’ouvrir Llama et plus généralement une majorité de vos modèles, vous avez décidé de garder certains secrets de votre modèle de génération d’image, Emu. Pourquoi ?

Nous essayons d’ouvrir tous nos modèles, mais il faut avant tout que nous soyons en capacité de le faire sans risque. Si nous partageons un modèle mal calibré, nous mettons en danger l’entreprise entière, et le jeu n’en vaut pas la chandelle. C’est pourquoi notre arbitrage sur l’ouverture des modèle se fait au cas par cas.

Dans le cas d’Emu, la possibilité de créer de fausses images soulève des problèmes très particuliers. Même s’ils se développent rapidement, les protocoles de watermarking pour étiqueter les images générées par l’IA ne sont pas encore au point. Peut-être que nous changerons de position à l’avenir, mais c’est trop risqué pour l’instant, d’autant plus que 2024 est une grande année d’élections à travers le monde. Donc, plutôt que de rajouter une bûche au feu, nous avons décidé d’attendre et d’observer les premiers effets de la technologie sur les élections. Il faut se rappeler qu’une fois qu’un modèle est publié en open source, on ne peut plus le retirer.

Si vous reconnaissez un risque, vous avez tout même utilisé Emu pour alimenter votre générateur d’images...

Imagine,

Sur Imagine, nous pouvons nous assurer de l’intégrité des garde-fous du modèle, alors qu’ils pourraient potentiellement être retirés par des utilisateurs si nous le publions en open source. En plus, nous pouvons appliquer autant de filtres supplémentaires que nous le souhaitons, car nous avons un contrôle direct sur le produit. Par exemple, nous pouvons nous assurer que l’outil ne génère pas d’images de personnalités publiques qui pourraient créer déclencher des conflits autour du droit à l’image.

Malgré ces précautions, Imagine rencontre quelques soucis. Au début du mois une journaliste de The Verge a remarqué que tous les humains générés étaient asiatiques. Puis, pendant un court moment, vraisemblablement le temps de réparer le bug, il était impossible de générer des personnes asiatiques. Même si le problème n’a pas atteint les mêmes sommets que chez Gemini de Google, il a exposé un véritable écueil.