ATTENTION À L’EFFET « BIG DATA »
Quand le Gartner a fait, il y a plus d’une décennie, du Big Data son grand chef de bataille, beaucoup d’entreprises ont commencé à empiler des infrastructures de données colossales et coûteuses sans savoir dans quel but. Et quand les uses case sont enfin arrivées, lesdites infrastructures ne convenaient en fait plus. De nombreux acteurs interrogés lors de la Kubecon ont avoué que cet écueil avait de grandes chances de se reproduire sur L’IA. « Du côté des entreprises, on a une course à ceux qui construiront les plus grosses fermes de GPU alors que les cas d’usages ne sont pas encore arrêtés » , explique le responsable d’un grand éditeur Open Source. « Il y a un risque non négligeable que dans deux ans, les technologies aujourd’hui déployées soient déjà obsolètes et l’argent aura été littéralement jeté par les fenêtres » .
Il faut donc aujourd’hui réfléchir à la stratégie IA qui doit être mise en place, d’autant plus qu’il est déjà possible de faire beaucoup sans avoir à investir des sommes colossales. « Que ce soit en travaillant à l’optimisation des LLM Open Source ou des infrastructures, les entreprises peuvent déjà prototyper sur les solutions existantes. Il est tout à fait possible d’avoir de grands modèles d’inférence sur des CPU » , explique ainsi Cédric Gégout, Vice- Président en charge du product management chez Canonical. Le cabinet Gartner a d’ailleurs publié mi- mars une note allant en ce sens. D’après cette dernière, plus de la moitié des entreprises qui ont construit des modèles de langage personnalisés abandonneront ces initiatives en raison des coûts, de la complexité et de la dette technique qu’elles engendrent d’ici 2028. Le cabinet explique que de nouvelles techniques et de nouveaux modèles apparaissent presque quotidiennement pour réduire les coûts et améliorer la précision des réponses. L’analyste Rita Sallam, enjoignait ainsi les entreprises à se tourner vers des architectures découplées, à base D’API, afin d’être en mesure de remplacer rapidement un composant devenu obsolète.