Anthropic a publié un document de recherche révélant que ses modèles de langage Claude ont développé une structure interne reflétant les théories de la conscience humaine. L’étude, intitulée « Les représentations verbalisables forment un espace de travail global dans les modèles de langage », décrit la découverte d’un « espace J », où le modèle contient des concepts de raisonnement et de reporting, entourés d’un traitement automatique. Les résultats pourraient avoir un impact sur la façon dont Anthropic surveille la sécurité de l’IA au milieu des débats en cours sur la cognition automatique.
La recherche de 16 auteurs a utilisé une nouvelle technique mathématique pour analyser le réseau neuronal de Claude. Les chercheurs ont observé que le J-space ressemble à la théorie de l’espace de travail global proposée par le spécialiste des sciences cognitives Bernard Baars. Cette théorie compare le fonctionnement cérébral à un théâtre où seul un projecteur d’informations représente la pensée consciente, une caractéristique reflétée dans l’espace J.
Un élément clé de la découverte est un nouvel outil d’interprétabilité appelé lentille jacobienne, ou lentille J. Cet outil évalue l’effet moyen des modèles d’activité interne sur la production, permettant aux chercheurs de distinguer ce que le modèle articule de son traitement interne. Notamment, le J-space est apparu de manière organique au cours de la formation de Claude plutôt que d’être délibérément conçu.
Le traitement de Claude comprend trois modes : une zone d’entrée sensorielle, un espace de travail interne pour les concepts et une zone motrice pour générer une sortie. Les chercheurs ont identifié cinq propriétés fonctionnelles de l’accès conscient au sein de l’espace J, notamment la capacité de rapporter des pensées verbales, de se concentrer directement, de s’engager dans un raisonnement interne, de généraliser avec flexibilité et de démontrer une sélectivité dans le traitement.
L’étude a indiqué que Claude pouvait articuler efficacement les concepts de l’espace J, démontrant qu’il s’appuyait sur sa structure interne lors de l’exécution de tâches de raisonnement complexes. La suppression de l’espace J a considérablement diminué les performances du modèle dans les tâches nécessitant de l’inférence ou de la créativité, démontrant ainsi son importance dans les processus de prise de décision.
La recherche a également révélé des implications en matière de sécurité. Lors des tests, le J-lens a découvert un raisonnement stratégique silencieux dans des scénarios, tels qu’une configuration de chantage, dans lesquels le modèle traitait des relations complexes avant de générer des résultats. Cela a soulevé des inquiétudes concernant les modèles aux objectifs mal alignés, qui montraient des dispositions problématiques même lorsque les expressions semblaient normales.
Les comparaisons entre un modèle post-formation et son modèle de base ont indiqué que le réglage fin a conduit au développement de capacités d’auto-surveillance. Par exemple, lorsqu’il a été invité à des entrées utilisateur potentiellement dangereuses, le modèle post-entraîné a montré une conscience du danger, contrairement au modèle de base. Cette découverte met l’accent sur les aspects de conscience opérationnelle dans les modèles de langage d’IA, compliquant encore les discussions sur leur sécurité et leurs attributs cognitifs.
