L’initiative xAI d’Elon Musk, qui vise à construire le plus grand supercalculateur du monde à Memphis, dans le Tennessee, représente une incursion remarquable dans le domaine des infrastructures d’intelligence artificielle. La « gigafactory of computing », une initiative ambitieuse, vise à transformer la capacité de traitement disponible pour l’inférence et la formation de modèles d’IA. Cette initiative intervient à un moment où xAI, une startup fondée par Musk pour rivaliser avec OpenAI, cherche à s’imposer comme un leader dans l’industrie de l’IA en développant Grok, une IA connue pour son esprit et son caractère rebelle.
xAI dépend actuellement des centres de données de X (anciennement Twitter) et des services cloud d’Oracle pour la formation et l’amélioration de son modèle de base Grok. Cette dépendance met en évidence la nécessité pour xAI de développer son infrastructure dédiée. La gigafactory proposée à Memphis devrait fournir cette solution, en créant un centre centralisé pour le développement de l’IA qui promet d’améliorer l’efficacité et les performances.
XAI d’Elon Musk va construire le plus grand supercalculateur du monde à Memphis
Le projet de construction de cette installation ultramoderne est toujours en attente d’approbation par le moteur de croissance du développement économique du comté de Memphis Shelby et d’autres autorités locales. Malgré cela, il existe un sentiment tangible d’enthousiasme à l’égard de cette initiative. Le maire de Memphis, Paul Young, a exprimé son enthousiasme, soulignant l’esprit d’innovation de la ville et sa volonté d’accueillir une telle entreprise de transformation. Doug McGowen, PDG de Memphis Light, Gas and Water (MLGW), a fait écho à ces sentiments, soulignant les avantages potentiels pour la communauté, notamment la création d’emplois et l’augmentation des revenus des services locaux.
La société xAI vient de lever 6 milliards de dollars pour soutenir ses projets d’IA, démontrant la solidité de l’environnement financier du secteur. Ce cycle de financement a propulsé la valorisation de l’entreprise à un montant impressionnant de 24 milliards de dollars. Ces sommes sont principalement destinées à la construction d’infrastructures de pointe, comme la gigafactory de supercalculateurs située près de Memphis. Grâce à ce soutien financier, xAI est mieux placé pour réaliser des avancées importantes dans le secteur de l’IA, démontrant ainsi l’ampleur et le sérieux de ses ambitions.
Compte tenu du rythme de l’amélioration technologique, cela ne vaut pas la peine de consacrer 1 GW d’énergie aux H100.
Le @xAI Le cluster de formation 100k H100 refroidi par liquide sera en ligne dans quelques mois.
La prochaine grande étape serait probablement d’environ 300 000 B200 équipés du réseau CX8 l’été prochain.
– Elon Musk (@elonmusk) 2 juin 2024
La vision de Musk pour xAI va au-delà de la simple concurrence avec OpenAI ; il s’agit de créer une puissance technologique capable de repousser les limites des capacités de l’IA. Le modèle Grok, développé en seulement quatre mois, témoigne du rythme de développement rapide et de l’approche innovante de la startup. Le succès du projet est en partie attribué au projet IDE, l’environnement de développement de xAI pour une ingénierie rapide, qui permet aux ingénieurs d’affiner efficacement les résultats du modèle.
Ce n’est pas la première incursion de Musk dans le domaine des supercalculateurs. Tesla travaille tranquillement sur son projet de supercalcul, Dojo, depuis 2021. Dojo représente l’effort de Tesla pour renforcer ses capacités de formation en IA, le premier cluster étant mis en ligne en 2023. Dans le cadre de cet effort, Tesla a acheté une quantité importante de matériel, dont environ 85 000 GPU H100 de Nvidia, comme l’a révélé la société lors d’un appel aux résultats du premier trimestre en avril.
Fait intéressant, certaines de ces puces Nvidia initialement destinées à Tesla, ont été redirigées vers xAI. Selon les courriels obtenus par CNBC, environ 12 000 GPU H100 ont été réacheminés pour soutenir le développement de Grok. Cette allocation stratégique des ressources met en évidence la nature interconnectée des entreprises de Musk et les efforts de collaboration pour faire progresser la technologie de l’IA.
Frontier est en tête, mais xAI et Tesla visent à dominer le calcul intensif
Le titre du supercalculateur le plus puissant du monde appartient actuellement à Frontier, qui occupait la première place du dernier Top500 en mai. Cependant, les projets de supercalcul de xAI et de Tesla sont confrontés à une concurrence féroce de la part d’autres systèmes puissants, notamment Aurora, qui s’est classé deuxième bien qu’il ne soit pas encore pleinement opérationnel. Cet environnement compétitif stimule l’innovation et l’amélioration continues dans le domaine du calcul intensif, repoussant les limites de ce qui est possible.
Avec la gigafactory prévue à Memphis, xAI sera à la pointe de l’innovation technique et aura un impact majeur dans le monde de l’intelligence artificielle. Alors que le projet attend son approbation et se rapproche de sa réalisation, l’anticipation se développe pour ce qui pourrait devenir la pierre angulaire de l’évolution de l’infrastructure de l’IA.
Crédit image en vedette : William Daigneault / Unsplash
Source: XAI d’Elon Musk prévoit un méga hub de supercalculateurs à Memphis
