« Quand nous mettrons le pied sur l’accélérateur, nous serons difficiles à égaler » (Joelle Pineau, directrice de la recherche en IA chez Meta)

mois ». Pensez-vous qu’il puisse rivaliser avec les meilleurs modèles ?

JOELLE PINEAU- Absolument ! Nous suivons de près les benchmarks, qui permettent de nous comparer avec la concurrence, et nous comptons bien y performer. Mais certaines contraintes que nous nous imposons, par exemple sur les données que nous utilisons pour l’entraînement des modèles, pourraient nous empêcher d’arriver en tête de certains classements. Autrement dit, nous savons exactement ce qu’il faut faire pour se rendre en première position, mais c’est difficilement compatible avec nos standards pour l’instant. D’autant plus qu’en face de nous, il y a plein de petits acteurs qui n’ont pas toujours les mêmes scrupules sur la safety [sécurité, ndlr] des intelligences artificielles.

Mais cette course n’est pas qu’une histoire de benchmarks.

Pour nous, elle se décline en trois questions : qui va avoir les meilleurs modèles en théorie ? Qui va avoir les meilleurs modèles en pratique ? Et surtout, qui va réussir à capitaliser sur l’IA générative avec des produits performants ? Et je pense que nous sommes bien positionnés dans les trois cas.

Qu’est-ce que Llama 3 aura de plus que son prédécesseur Llama 2, sorti en juillet 2023 ?

Il pourra appréhender un plus grand éventail d’informations, notamment les images, en plus d’être utilisable dans plus de langues. Mais la véritable avancée, c’est l’amélioration de ses capacités de raisonnement et de planification, avec notamment pour effet direct une réduction des risques d’hallucinations [des incohérences présentées comme faits par les IA, ndlr]. Attention cependant, nous n’en sommes qu’au début de l’intelligence artificielle générative, et nous sommes loin de résoudre tous les problèmes de la précédente génération. Il reste beaucoup de travail à faire.

Pour développer leur chiffre d’affaires, la majorité de vos concurrents misent sur un modèle de distribution par API, où le client paie le modèle d’IA à l’utilisation. De votre côté, vous avez aussi noué des partenariats avec les principaux fournisseurs de cloud (AWS, Azure, Google Cloud...) pour diffuser vos modèles Llama par API. Est-ce un élément important de votre modèle économique pour l’IA ?

Ces partenariats nous permettent d’élargir le réseau de distribution du modèle, mais ils ne sont pas notre priorité. Notre stratégie dans l’intelligence artificielle est assez différente des autres : elle consiste avant tout à alimenter nos plateformes, Facebook,

Instagram, WhatsApp en nouvelles fonctionnalités. Notre modèle d’affaires est là.

Pour l’instant, nous n’avons pas encore beaucoup poussé Meta AI [la plateforme d’outils d’IA du groupe, ndlr], car nous voulons avancer prudemment. Mais il faut garder en tête que notre réseau de distribution compte plus de trois milliards de personnes. Donc une fois que nous déciderons de vraiment mettre le pied sur l’accélérateur, nous serons difficile à égaler.

« Les chercheurs veulent toujours plus de ressources »

Vous avez fait le choix dès l’an dernier de publier Llama en open source, avec une licence d’exploitation synonyme de gratuité pour l’écrasante majorité des entreprises. La performance de Llama 3 sera donc regardée de près, car il risque d’imposer un nouveau plancher de performances à atteindre aux développeurs de modèles, qu’ils soient ouverts ou propriétaires. Avez-vous conscience de ce rôle?

Complètement. À chaque fois que nous montons une marche, c’est tout l’écosystème qui monte avec nous. Les nombreuses personnes qui travaillent sur Llama 2 vont pouvoir basculer sur Llama 3 dès sa sortie, et ça se verra. Plus généralement, le plancher de performance imposé par les modèles open source monte constamment et la distance avec le plafond posé par les meilleurs modèles propriétaires se réduit très vite. Mais l’open source impose aussi que ce bond de performance s’accompagne d’une avancée du même ordre au niveau des responsabilités sociales et éthiques. Les modèles que nous allons sortir ne seront pas parfaits, et nous devons nous assurer qu’ils ne puissent pas causer de risques significatifs s’ils tombent dans les mauvaises mains.

En 2023, ce n’est pas votre modèle le plus puissant qui a le plus marqué l’industrie, mais Llama 2 7B, une version bien plus petite, moins gourmande en ressources. Certains experts comparent même l’effet de son arrivée dans le milieu des professionnels de l’IA à celle de ChatGPT dans le grand public. Comptez-vous poursuivre le développement de ce genre de petits modèles ?

Les petits modèles sont un point de passage indispensable dans le développement des grands modèles. Quand nous avons commencé à travailler sur Llama 3 par exemple, nous avons testé toutes sortes d’innovations sorties de nos laboratoires sur des petits modèles. Puis nous avons passé à l’échelle supérieure ce qui semblait fonctionner le mieux, car nous n’avions pas les ressources pour tout tester, jusqu’à obtenir le grand modèle final