Nvidia a dévoilé Nemotron 3 Nano Omni, un modèle d’IA multimodal ouvert qui intègre des capacités de vision, d’audio et de langage dans une architecture unifiée.
Le modèle vise à remédier aux inefficacités des systèmes d’IA d’entreprise actuels, qui reposent souvent sur des pipelines fragmentés. Il traite diverses entrées, notamment du texte, des images, de l’audio, de la vidéo, des documents, des graphiques et des interfaces graphiques, tout en générant des sorties de texte.
Construit sur une architecture hybride d’experts de 30 milliards de paramètres, Nemotron 3 Nano Omni active environ 3 milliards de paramètres par inférence. Nvidia affirme offrir la capacité de connaissance de modèles plus grands tout en réduisant considérablement les coûts de calcul.
Nvidia a déclaré que le Nemotron 3 Nano Omni atteint un débit jusqu’à 9 fois supérieur à celui des modèles omni ouverts comparables. Pour les tâches de raisonnement vidéo, il offre un débit environ trois fois supérieur avec des exigences de calcul 2,75 fois inférieures, soutenu par une fenêtre contextuelle de 256 000 jetons. Le modèle serait en tête de six références pour l’intelligence documentaire complexe et la compréhension vidéo et audio.
Les adeptes notables du modèle incluent Foxconn, Palantir et H Company. « L’utilisation du Nemotron 3 Nano Omni permet à nos agents d’analyser rapidement les enregistrements sur écran Full HD, une capacité qui était auparavant irréalisable », a déclaré Gautier Cloix, PDG de H Company.
Dell, Oracle et Infosys évaluent actuellement le modèle en vue d’une éventuelle adoption. Nemotron 3 Nano Omni est accessible sur des plateformes telles que Hugging Face, OpenRouter, Amazon SageMaker JumpStart, Vultr et plus de 25 plateformes partenaires. Il est équipé de poids ouverts, d’ensembles de données et de recettes de formation pour un déploiement dans divers environnements.
Ce modèle fait partie de la famille plus large Nemotron 3 de Nvidia, qui comprend des modèles Super et Ultra conçus pour des tâches de raisonnement plus intensives. La série Nemotron 3 a atteint plus de 50 millions de téléchargements au cours de la dernière année.
