Graphcore sur la route de l’exaflop
Le fondeur de DPU ( Data Processing Unit) a récemment présenté une nouvelle plate- forme BOW qui s’appuie sur une nouvelle technologie développée avec TSMC préfigurant une machine à l’échelle de l’exaflop.
Graphcore le renomme IPU ou Intelligent Processing Unit, mais cela reste un processeur qui recourt au parallélisme pour apporter performance et rapidité au traitement de jeu de données. Ainsi, la dernière version de L’IPU de Graphcore affiche une augmentation de 40 % de la performance comparativement à la génération précédente. La puce est plus économe et consomme 16 % d’électricité en moins. Les améliorations sont la conséquence du choix technologique de conception du processeur qui est le premier à être conçu sur la technologie 3D Wafer- on- Wafer. C’est la première fois que cette technologie est utilisée commercialement dans un système.
Cette technologie utilise une variante du process 7 nm de TSMC. Elle est différente de la plus classique chip- on- wafer et son stack vertical. Elle est plus sophistiquée et apporte une plus grande densité d’interconnexion entre les coeurs qui sont empilés les uns sur les autres. Cela demande de lier les Wafers avant leur découpe. Ainsi, les deux wafers sont connectés entre eux. Dans le futur, il sera possible d’avoir plus de deux wafers. Dans le cas de cette nouvelle IPU, Graphcore et TSMC ont attaché le second wafer à celui du processeur avec de nombreuses cellules autorisant une alimentation plus fluide, ce qui permet au processeur de fonctionner à des vitesses plus grandes et à un voltage supérieur. Un Wafer pour le traitement de l’intelligence artificielle, dont l’architecture est compatible avec un processeur GC200 IPU avec ses 1472 coeurs indépendants capables de traiter 8800 threads avec 900 Mo de mémoire, est lié à un processeur pour l’alimentation électrique. Par ce rapprochement, Graphcore améliore la fourniture de l’alimentation de chaque puce et optimise les performances. Les deux entreprises ont travaillé pendant 18 mois sur cette technologie qui est actuellement dans ses premiers pas.
L’effet WOW
En s’appuyant sur cette nouvelle technologie de puce nommée BOW, Graphcore propose une gamme de systèmes appelés Pod, qui se différencie par le nombre de puces BOW et de capacité de traitement des données. En entrée de gamme, le BOW Pod 16 combine 4 puces BOW avec un serveur CPU et délivre une capacité de traitement de 5,6 Petaflops. Les autres machines sont des multiples de ce système de base pour culminer à BOW Pod 1024 qui réunit 256 puces BOW avec 16 serveurs CPU pour une capacité de traitement de plus de 358 petaflops. Ce système est en « early access » pour l’instant. Les autres machines sont disponibles par le réseau de revendeurs et partenaires de Graphcore. Toutes reprennent l’unité de base, le système BOW- 2000 IPU qui reprend la même architecture que L’IPU- M2000, qui était la seconde génération de puces de Graphcore. La compatibilité ascendante entre les systèmes est ainsi assurée. Ces serveurs CPU, Dell, Atos, Supermicro, Inspur et Lenovo sont des partenaires ayant certifié des machines auprès de Graphcore.
Sur différentes applications, comme GPT et BERT pour le traitement du langage naturel ou Efficientnet et Resnet pour la vision artificielle ainsi que pour les réseaux neuronaux, les pods apportent jusqu'à 40 % d'amélioration de la performance. Des performances cinq fois supérieures à un système Nvidia DGX A100 selon des chiffres avancés par Graphcore. Ainsi le système a mis un peu plus de 14 heures pour ce que le système de Nvidia a traité en 70 heures sur l'entraînement d'un modèle. Le BOW Pod 16 sest révélé ainsi cinq fois plus rapide. Autre avantage mis en avant, le coût de la solution qui serait la moitié de celui du système de Nvidia et qui aurait un coût total de
possession 10 fois moindre pour des applications de vision artificielle comme Efficientnet. De plus, la solution présente une consommation électrique moindre ou avec une performance par watt supérieure.
Autre attrait de la solution, elle est compatible avec les applications existantes sur IPU ainsi qu'avec une flopée de logiciels de référence dans le domaine de l'intelligence artificielle : Tensorflow, Keras, Pytorch, Lightning, Paddle, Hugging Face, ainsi qu'avec Vmware, Docker, Open Stack, Github.
Le futur sera Good
Dans le même temps, Graphcore prépare une machine future qui reprend le nom de Jack Good, pionnier en sciences informatiques et le premier à décrire une machine en mesure de dépasser la puissance du cerveau humain dans son étude de 1965, intitulée Speculations Concerning the First UltraIntelligent Machine. Prévue pour 2024, la machine devrait embarquer la prochaine génération D'IPU. Les principales caractéristiques de cette machine de l'avenir sont de proposer une puissance de traitement de l'ordre de 10 exaflops, 4 Po de mémoire avec une bande passante de plus de 10 pétaoctets/ seconde ce qui permettra de traiter des modèles comprenant plus de 500 milliards de paramètres. Cette nouvelle génération devrait ajouter une pile logique sur les puces et prendre en charge nativement le SDK Poplar de Graphcore. Suivant la configuration, le prix du futur système peut faire reculer plus d'un : 120 millions de dollars ! Graphcore devrait faire des points réguliers sur les avancées réalisées autour de ce système. Des partenaires pour aider à développer les futures solutions D'IA que cet ordinateur ultra- intelligent rendra possibles, sont évidemment les bienvenus !