Graphcore ajoute de nouveaux transformers à Hugging Face
Le projet de Github de l’intelligence artificielle s’enrichit avec de nouveaux transformers développés avec Graphcore.
Graphcore et Hugging Face proposent désormais un nombre plus important de modalités et tâches dans la bibliothèque open source, Hugging Face Optimum, dédiée à l’optimisation des performances. Les développeurs disposent d’une vaste gamme de modèles de transformers Hugging Face prêts à l’emploi et optimisés pour fournir les meilleures performances possibles sur les IPU Graphcore.
Les nouveaux modèles Optimum
Graphcore est devenu membre fondateur du Hugging Face Hardware Partner Program en 2021. Les deux entreprises avaient pour but de rendre l’innovation plus facile dans le domaine de l’intelligence artificielle. Depuis, les deux entités ont travaillé pour simplifier et accélérer l’entraînement des modèles de transformers sur IPU. Le premier modèle Optimum Graphcore ( BERT) est sorti l’an dernier. Les développeurs ont désormais accès à 9 nouveaux transformers prenant en charge le traitement automatique des langues, la vision industrielle et la reconnaissance vocale. Ils sont fournis avec des fichiers configuration IPU et des paramètres ajustés, pré- entraînés et prêts à l’emploi. Ils concernent la vision industrielle et le traitement automatique du langage.
Sur ce dernier sujet, le GPT- 2 est un modèle de transformer de création de texte pré- entraîné sur un très grand corpus de données anglophones, de manière auto- régulée. Cela veut dire que le modèle est pré- entraîné uniquement sur du texte brut, à l’aide d’un processus automatique de génération d’entrées et d’étiquettes, sans qu’aucun humain ne soit intervenu ( d’où l’utilisation de données publiques). Il est entraîné pour générer des textes en devinant le mot suivant dans une phrase
donnée. Le ROBERTA est un modèle de transformer pré- entraîné sur un large corpus de données anglophones, de manière auto- régulée ( comme le GPT- 2). Ce modèle a été pré- entraîné avec l’objectif MLM ( Masked Language Modeling). Pour une phrase donnée, il masque aléatoirement 15 % des mots fournis, puis exécute la phrase entière masquée afin de deviner les mots dissimulés. ROBERTA peut donc être utilisé pour la modélisation du langage masqué ( MLM), mais il a surtout été pensé pour être ajusté à la précision dans le cadre de tâches en aval. Le DEBERTA ( Decoding- enhanced BERT with disentangled attention) est un modèle neuronal de langage pré- entraîné pour les tâches de traitement automatique des langues. Il met à jour les modèles 2018 BERT et 2019 ROBERTA à l’aide de deux techniques novatrices, à savoir un mécanisme d’attention démêlée et un décodeur de masque amélioré, optimisant ainsi considérablement l’efficacité du pré- entraînement et les performances des tâches en aval. Le HUBERT ( Hidden- Unit BERT) est un modèle auto- régulé de reconnaissance vocale et pré- entraîné avec des données audio. Son apprentissage consiste en un modèle de langue/ acoustique sur entrées continues. Le modèle HUBERT est aussi performant que le wav2vec 2.0 exécuté dans les corpus Librispeech ( 960 h) et Libri- light ( 60 000 h) avec les sous- ensembles de 10 min, 1 h, 10 h, 100 h et 960 h.
Un SDK pour faciliter la vie
Par le kit SDK Poplar, mis à jour récemment, il est devenu plus simple de réaliser l’entraînement de modèles de pointe sur les équipements les plus avancés grâce à une intégration complète aux environnements d’apprentissage automatique standard ( notamment Pytorch, Pytorch Lightning et Tensorflow) et à des outils de déploiement et d’orchestration comme Docker et Kubernetes. Poplar est compatible avec ces systèmes tiers, largement répandus. Les développeurs peuvent sans difficulté transposer des modèles provenant d’autres plateformes de calcul et, ainsi, bénéficier pleinement des fonctionnalités D’IA avancées de L’IPU de Graphcore.
Il est possible de télécharger ces nouveaux transformers de différentes manières, soit sur le site web de Hugging Face, ou en accédant au code via le référentiel Optimum de Hugging Face dans Github. En outre, Graphcore met à disposition une page de ressources pour développeurs, qui comprend notamment L’IPU Model Garden ( un référentiel d’applications ML prêtes à être déployées : vision industrielle, traitement automatique des langues, réseaux graphiques, etc.), ainsi que des documents, des didacticiels, des vidéos explicatives, des webinaires, et plus encore. Cette page donne également accès au référentiel Github de Graphcore et à la liste complète de modèles Hugging Face Optimum.