Le grand modèle de langage révolutionnaire de DeepSeek, R1, intrigue depuis longtemps la communauté de l’IA pour sa capacité à rivaliser avec les géants de l’industrie avec un budget remarquablement faible. Un article récemment publié dans la revue Nature par l’équipe DeepSeek AI met en lumière les détails : le modèle a été entraîné pour seulement 294 000 $ à l’aide de 512 puces Nvidia H800. Cette révélation met en évidence une approche rentable qui remet en question les dépenses élevées de concurrents comme OpenAI, mettant en évidence l’utilisation innovante par DeepSeek de l’apprentissage par renforcement basé sur les essais et les erreurs pour obtenir des résultats impressionnants.
La principale innovation réside dans le fait de contourner le recours traditionnel à des données et démonstrations coûteuses annotées par l’homme, qui demandent beaucoup de main d’œuvre et sont peu adaptées aux tâches de raisonnement complexes. Au lieu de cela, DeepSeek a utilisé des techniques d’apprentissage par renforcement qui imitent un système de récompense-pénalité. Comme l’expliquent Daphne Ippolito, professeure adjointe à l’Université Carnegie Mellon, et Yiming Zhang, doctorant dans un article d’accompagnement, cette méthode ressemble à un enfant qui apprend à travers des jeux vidéo : « Lorsque l’enfant navigue avec son avatar dans le monde du jeu, il apprend par essais et erreurs que certaines actions (comme collecter des pièces d’or) rapportent des points, tandis que d’autres (comme se heurter à des ennemis) remettent leur score à zéro. Dans la même veine, DeepSeek-R1 a obtenu un score élevé lorsqu’il a répondu correctement aux questions et un score faible lorsqu’il a donné mauvaises réponses. »
Cette stratégie de renforcement s’est avérée particulièrement efficace pour les tâches avec des réponses correctes vérifiables, telles que les problèmes de mathématiques et de programmation. Contrairement aux méthodes précédentes qui incitaient les modèles à générer des explications étape par étape pour améliorer la précision, DeepSeek attribuait des scores directement aux résultats, encourageant le modèle à itérer jusqu’à obtenir le bon résultat de manière indépendante. Le résultat ? Une précision améliorée sans avoir recours à un raisonnement guidé par l’homme, permettant à DeepSeek de maintenir sa compétitivité malgré ses ressources modestes.
Cependant, cette approche n’est pas sans limites. Même si les résultats sont souvent plus précis, le processus de raisonnement interne du modèle devient moins transparent pour les observateurs humains. Par exemple, lorsqu’on lui demandait d’expliquer son processus de réflexion, DeepSeek-R1 produisait parfois de longues réponses dépassant 10 000 mots, basculant de manière imprévisible entre l’anglais et le chinois. La technique excelle dans les scénarios binaires du bon ou du mauvais, mais échoue avec les requêtes nuancées ou subjectives, où les mesures de notation claires sont absentes.
Les réalisations de DeepSeek interviennent dans le cadre d’un examen plus approfondi des liens de l’entreprise avec le gouvernement chinois, soulevant des questions sur les biais potentiels de sa technologie. De récentes manifestations rapportées par le The Washington Post ont révélé des comportements préoccupants : le modèle a refusé de générer du code présentant des failles de sécurité importantes lorsque des invites indiquaient une implication dans des groupes jugés sensibles par les autorités chinoises. À l’inverse, il a produit un code moins sécurisé pour des sujets liés au Tibet, à Taiwan, au mouvement religieux Falun Gong ou même à l’État islamique, suggérant des influences géopolitiques intégrées qui pourraient avoir un impact sur son déploiement mondial.
Cet article démystifie non seulement le paradigme de formation efficace de DeepSeek, mais suscite également des discussions sur l’avenir du développement de l’IA. En tirant parti de l’apprentissage par renforcement, les petits acteurs comme DeepSeek peuvent potentiellement égaliser les règles du jeu face aux opérateurs historiques gourmands en ressources. Pourtant, l’apport de sensibilités nationales sert de mise en garde, soulignant la nécessité de transparence et de surveillance éthique dans l’innovation en IA. À mesure que le secteur évolue, de telles révélations pourraient inspirer des méthodologies de réduction des coûts dans le monde entier, à condition qu’elles s’attaquent aux risques sous-jacents.
