Anthropic et son partenaire de recherche AE Studio ont publié mercredi une méthode permettant d’isoler les connaissances dangereuses dans les modèles d’IA à l’aide de modules discrets et amovibles. La technique, nommée GRAM (Gradient-Routed Auxiliary Modules), est conçue pour améliorer la gestion des risques à double usage tout en maintenant les performances générales des modèles d’IA.
GRAM ajoute de petits compartiments neuronaux auxiliaires à l’architecture de transformateur standard. Chaque compartiment est dédié à une catégorie spécifique de connaissances sensibles comme la virologie, la cybersécurité ou la physique nucléaire. La suppression d’un module fait que le modèle se comporte comme s’il n’avait jamais été formé sur ces données particulières, tandis que l’activation d’un module permet d’accéder aux connaissances contenues.
Les chercheurs ont formé un modèle de 800 millions de paramètres en utilisant un mélange de texte Web, de code, d’articles scientifiques et de quatre domaines à double usage : virologie, cybersécurité, physique nucléaire et code spécialisé. Les données à double usage représentaient environ 0,25 % des données de formation pour chaque domaine. Les résultats ont indiqué que la suppression des modules GRAM était presque aussi efficace que l’absence de formation du tout sur les données. Le modèle a maintenu des performances générales proches de la référence établie avec toutes les données incluses.
Cette approche s’est révélée robuste face aux ajustements contradictoires, à la différence des méthodes de désapprentissage post-hoc qui ne font généralement que supprimer les connaissances plutôt que de les éliminer. La recherche intervient à un moment difficile pour la gouvernance de l’IA, l’administration Trump ayant momentanément imposé des contrôles à l’exportation sur les modèles Claude d’Anthropic en raison de problèmes de sécurité nationale liés à des vulnérabilités potentielles.
Ces restrictions ont été levées le 30 juin après qu’Anthropic ait collaboré avec le ministère du Commerce pour répondre aux risques identifiés. GRAM peut offrir un terrain d’entente dans l’élaboration des politiques, en permettant un contrôle d’accès granulaire au lieu d’interdire des modèles entiers ou de s’appuyer uniquement sur des garde-fous comportementaux.
Cependant, les chercheurs ont noté que leurs résultats sont préliminaires et n’ont pas encore été mis en œuvre dans les modèles de production chez Anthropic. Ils ont soulevé des questions sur l’évolutivité de GRAM vers des modèles plus complexes et sur les difficultés potentielles liées à la séparation des connaissances intriquées des capacités plus générales. Cette recherche a été dirigée par AE Studio, avec les contributions de Cem Anil et Alex Cloud d’Anthropic.
