Elon Musk a annoncé le lancement de Colossus, un puissant système de formation à l’intelligence artificielle. Elon Musk l’a annoncé dans un récent message sur X, anciennement connu sous le nom de Twitter. Le nouveau système, qui utilise 100 000 cartes graphiques Nvidia, est un grand pas en avant pour xAI et la communauté de l’IA.
Le système Colossus utilise les cartes graphiques H100 de Nvidia, qui sont la norme pour le traitement de l’IA depuis 2022. Le système est l’un des systèmes de formation d’IA les plus avancés jamais construits. Musk affirme que le nouveau système est le « système de formation d’IA le plus puissant au monde ». Il pourrait même surpasser les supercalculateurs les plus rapides, comme l’Aurora du ministère américain de l’Énergie.
Ce week-end, le @xAI L’équipe a mis en ligne notre groupe de formation Colossus 100k H100. Du début à la fin, cela a été fait en 122 jours.
Colossus est le système de formation d’IA le plus puissant au monde. De plus, sa taille va doubler pour atteindre 200 000 (50 000 H200) dans quelques mois.
Excellent…
— Elon Musk (@elonmusk) 2 septembre 2024
La force motrice derrière la puissance du Colossus
La puissance de traitement du système Colossus provient de Nvidia Puces H100Ces puces sont parmi les plus puissantes du secteur de l’IA et sont conçues pour entraîner de grands modèles linguistiques. Le H100 Moteur de transformateur Le module est un ensemble de circuits optimisés pour l’exécution de modèles d’IA basés sur l’architecture de réseau neuronal Transformer. Cette architecture est utilisée dans de nombreux modèles d’IA de premier plan, notamment Llama 3.1 405B de Meta et GPT-4 d’OpenAI.
de Musk xAI Corp. a reçu un Investissement de 6 milliards de dollarsaugmentant sa valorisation à 24 milliards de dollarsCe financement fait partie des efforts de Musk pour concurrencer OpenAI, une société qu’il poursuit en justice pour rupture de contrat. Le système Colossus est plus rapide que le supercalculateur Aurora du ministère américain de l’Énergie. Il utilise les cartes graphiques avancées H100 de Nvidia. Puces H200 proposer des améliorations, y compris un passage de Mémoire HBM3 à HBM3e et une augmentation de la capacité de mémoire embarquée pour 141 gigaoctetsCertaines des puces équipant Colossus étaient initialement destinées à Tesla.
Vidéo de l’intérieur de Cortex aujourd’hui, le nouveau supercluster géant de formation à l’IA en cours de construction au siège de Tesla à Austin pour résoudre les problèmes d’IA du monde réel pic.twitter.com/DwJVUWUrb5
— Elon Musk (@elonmusk) 26 août 2024
Le système compte plus de 100 000 puces. Musk prévoit de doubler le nombre de puces du système pour atteindre 200 000, dont 50 000 seront les nouveaux processeurs H200 plus rapides. Le H200 est une version améliorée du H100. Il dispose de deux nouvelles fonctionnalités qui le rendent plus rapide et plus puissant. Ces mises à niveau permettent à Colossus de gérer plus facilement des modèles d’IA complexes.
À mesure que l’IA x progresse Technologie de l’IAle nouveau système sera essentiel au développement de modèles linguistiques de nouvelle génération. Le modèle principal de la société, Grok-2, a été formé à l’aide de 15 000 GPU. Grâce à la puissance des 100 000 puces de Colossus, des modèles encore plus avancés peuvent être créés. xAI prévoit de sortir un nouveau modèle d’ici la fin de l’année.
Outre ses développements révolutionnaires en matière d’IA, l’utilisation par xAI du matériel Nvidia souligne la demande croissante de capacités de traitement d’IA puissantes dans divers secteurs. Le fait que certaines des puces utilisées dans Colossus étaient initialement destinées à Tesla souligne encore davantage l’importance de cette technologie dans la vision plus large de Musk.
Crédits de l’image en vedette : Furkan Demirkaya / Dall-E
Source: Colossus s’associe à xAI d’Elon Musk et à Nvidia
