Michael Kratsios, conseiller scientifique à la Maison Blanche, a affirmé que la société chinoise Moonshot avait construit son modèle Kimi K3 en copiant le Fable LLM d’Anthropic tout en utilisant des puces interdites pour l’exportation vers la Chine. Kratsios a déclaré : « Une distillation industrielle secrète à grande échelle visant à voler la technologie américaine exclusive et à saper la recherche américaine est inacceptable. » Des discussions sur l’interdiction des modèles chinois à pondération ouverte sont en cours, sur fond d’inquiétudes dans le secteur de l’IA.
Le secrétaire au Trésor, Scott Bessent, a soutenu Kratsios, affirmant : « Nous trouvons des filigranes de nos grands modèles linguistiques américains sur de nombreux modèles chinois, et c’est inacceptable. » La nature de ces filigranes reste floue et le Département du Trésor n’a pas répondu aux demandes de renseignements.
Les experts ont exprimé leur scepticisme quant à l’idée selon laquelle la distillation seule pourrait expliquer les capacités avancées du Kimi K3. Braden Hancock, chercheur à l’Institut Laude, a fait remarquer : « Je ne pense pas que l’on puisse obtenir un modèle aussi puissant et aussi rapide dans la foulée de Fable faisant strictement de la distillation », citant le court laps de temps écoulé depuis la sortie de Fable le 1er juillet. Hancock a souligné la difficulté de distiller des données aussi complexes en deux semaines.
Nathan Lambert de l’Allen Institute for AI a ajouté que l’efficacité de la distillation semble diminuer à mesure que les modèles chinois deviennent plus sophistiqués. Il a noté que les méthodes de formation actuelles penchent de plus en plus vers l’apprentissage par renforcement, qui implique des processus plus vastes et plus complexes que la distillation.
La distillation nécessite généralement qu’un laboratoire interroge systématiquement un LLM pour générer des données pour la post-formation. Cela peut impliquer un réglage fin supervisé où un modèle imite les capacités d’un autre. Cependant, Lambert a averti qu’à mesure que les modèles deviennent plus complexes, les avantages d’un réglage fin supervisé diminuent.
Anthropic avait précédemment accusé Moonshot, DeepSeek et MiniMax d’avoir distillé ses modèles, affirmant avoir détecté des modèles de requêtes inhabituels indiquant une extraction de capacités. En revanche, les pratiques de distillation sont reconnues dans l’industrie de l’IA, comme l’a noté Elon Musk, qui a témoigné que SpaceXAI avait distillé des modèles OpenAI pour créer Grok.
Dans ses allégations, Kratsios a également affirmé que Moonshot avait acquis des puces Nvidia avancées et des serveurs GB300 en Thaïlande, dont l’exportation vers la Chine est interdite. Sam Bresnick, chercheur au Centre pour la sécurité et les technologies émergentes de Georgetown, a souligné l’existence d’un marché noir pour ces puces interdites.
Bresnick a appelé à des lois de « connaissance du client » pour les centres de données impliqués dans d’importantes opérations de formation. Cependant, les progrès sont au point mort sur les réglementations fédérales proposées par le ministère du Commerce du président Biden, qui visait à établir de telles règles d’ici 2024.
Les exportateurs de puces avancées doivent garantir leur utilisation à des fins approuvées, mais le respect des règles dans ce domaine reste un défi, comme le souligne la récente inculpation du fondateur de Supermicro pour contrebande de puces avancées en Chine.
