Anthropic lance un nouveau programme pour financer le développement de nouveaux référentiels permettant d’évaluer la performance et l’impact des modèles d’IA, y compris des modèles génératifs comme son propre Claude.
La nouvelle initiative de l’entreprise va remodeler la manière dont les modèles d’IA sont évalués, dans le but de créer des repères qui reflètent avec précision les applications du monde réel et garantissent la sécurité de l’IA.
Un aperçu historique des benchmarks de l’IA
Les tests d’IA jouent un rôle important dans l’évaluation des performances des modèles. Traditionnellement, ils mesurent des tâches telles que la reconnaissance d’images et le traitement du langage naturel. Cependant, des tests plus complets et plus réalistes sont nécessaires pour les systèmes plus avancés, tels que les modèles génératifs. Les tests traditionnels ne parviennent pas à saisir la complexité des applications du monde réel et ne reflètent pas les défis des technologies d’IA modernes.
Pourquoi Anthropic a pris une telle initiative ?
Anthropic souhaite combler les lacunes des référentiels existants en finançant de nouvelles méthodes d’évaluation complètes. En se concentrant sur la sécurité de l’IA et ses impacts sociétaux, l’entreprise souhaite développer des critères mesurant les capacités avancées. Le programme vise à créer des référentiels suffisamment rigoureux, réalistes et pertinents en matière de sécurité.
Le programme se concentrera sur trois domaines principaux : les évaluations de sécurité de l’IA, les critères de référence avancés en matière de capacités et de sécurité, ainsi que l’infrastructure, les outils et les méthodes d’évaluation. En abordant ces domaines, Anthropic vise à créer des critères de référence évolutifs et prêts à l’emploi.
Principaux domaines d’intervention du programme
L’un des principaux domaines d’intérêt est l’évaluation de la sécurité de l’IA. Ces évaluations mesurent les tâches ayant des implications importantes en matière de sécurité, comme la réalisation de cyberattaques. Un autre domaine d’intérêt est celui des tests de performance avancés en matière de capacités et de sécurité, qui mesurent les performances sur des tâches complexes qui nécessitent un niveau élevé d’expertise. Le troisième domaine est le développement d’infrastructures, d’outils et de méthodes pour créer des évaluations.
Principes d’une évaluation efficace
Les évaluations efficaces doivent être rigoureuses et significatives. Les évaluations doivent être suffisamment difficiles et ne doivent pas être incluses dans les données d’entraînement du modèle d’IA. L’efficacité et l’évolutivité sont des principes importants. Les évaluations doivent être élaborées avec la contribution d’experts du domaine. Une bonne documentation et une bonne reproductibilité sont essentielles pour la transparence et la réplication.
Processus de candidature et d’examen
Anthropic a mis en place un processus structuré pour soumettre et examiner les propositions selon les nouveaux critères. Les organisations intéressées peuvent soumettre leurs propositions via le formulaire de demandeL’entreprise apporte un soutien financier et propose des options de financement adaptées aux besoins du projet.
Les propositions sélectionnées auront l’opportunité de collaborer avec les experts d’Anthropic. Cette collaboration permettra de garantir que les évaluations sont élaborées selon des normes élevées et répondent aux défis les plus urgents en matière de sécurité et de performance de l’IA.
L’initiative d’Anthropic visant à financer la prochaine génération de benchmarks en IA vise à améliorer l’évaluation des modèles d’IA. En s’attaquant aux limites des benchmarks existants, le programme vise à créer des évaluations plus complètes et plus significatives. Grâce à la collaboration avec des organisations tierces et au soutien d’experts du domaine, Anthropic espère élever le domaine de la sécurité de l’IA et ajouter des outils précieux à l’écosystème de l’IA.
Crédits de l’image en vedette : vecstock / Freepik
Source: Anthropic veut financer une nouvelle génération plus complète de benchmarks IA
