OpenAI a dévoilé son premier processeur d’inférence sur mesure, Jalapeño, développé en collaboration avec Broadcom. Le processeur, spécialement conçu pour les systèmes d’inférence d’OpenAI, était assisté par les propres modèles d’IA de l’entreprise, a indiqué la société.
Jalapeño fait actuellement l’objet de tests, dont les premiers résultats indiquent une performance par watt nettement meilleure par rapport aux alternatives de pointe actuelles. Le partenariat avec Broadcom a été officiellement annoncé en octobre, avec des spéculations en cours selon lesquelles il viserait à réduire la dépendance d’OpenAI à l’égard des GPU de Nvidia.
À l’instar d’OpenAI, Google et Amazon ont également créé des puces personnalisées appelées « accélérateurs d’IA » pour améliorer les performances de l’apprentissage automatique. Le président d’OpenAI, Greg Brockman, a discuté de la stratégie de développement de puces de l’entreprise dans un podcast peu de temps après l’annonce du partenariat Broadcom.
«Nous comprenons parfaitement la charge de travail», a déclaré Brockman. « Nous recherchons vraiment des charges de travail spécifiques qui sont mal desservies, [et demandons] comment pouvons-nous créer quelque chose qui sera capable d’accélérer ce qui est possible ?
Le processeur Jalapeño est optimisé pour l’inférence, qui implique l’exécution de modèles d’IA prédéfinis en réponse aux commandes de l’utilisateur. OpenAI a souligné les faibles coûts d’exploitation de la puce pour les modèles de codage en temps réel. Les tâches plus gourmandes en performances, telles que la pré-formation, continueront probablement à s’appuyer sur le matériel Nvidia, mais la réduction des coûts d’inférence pourrait avoir un impact positif sur les finances d’OpenAI.
L’optimisation des systèmes d’inférence peut être essentielle pour la viabilité économique de l’IA à l’avenir. OpenAI se concentre sur la création de divers produits agents, notamment Codex, ainsi que sur les centres de données nécessaires au déploiement. L’évolution vers des puces personnalisées permet à l’entreprise d’améliorer encore son infrastructure.
« OpenAI ne se contente pas de développer des modèles de pointe ou de construire des produits par-dessus ; elle conçoit l’infrastructure qui se trouve en dessous : architecture des puces, noyaux, systèmes de mémoire, mise en réseau, planification, systèmes de déploiement et expérience produit », a déclaré la société. “Étant donné qu’OpenAI fonctionne sur l’ensemble de la pile, chaque couche peut être optimisée autour du même objectif : rendre ses modèles plus rapides, plus fiables et plus abordables pour les utilisateurs.”
