Yoshua Bengio, professeur à l’Université de Montréal reconnu pour ses travaux fondateurs sur l’apprentissage profond, a prévenu que la course à la domination de l’intelligence artificielle pourrait conduire à l’extinction de l’humanité. Ses préoccupations se concentrent sur le développement de machines hyper-intelligentes ayant leurs propres « objectifs de préservation ». Cet avertissement coïncide avec une période de développement accéléré de l’IA, alors que de grandes entreprises comme OpenAI, Anthropic, xAI d’Elon Musk et Gemini de Google ont toutes publié de nouveaux modèles ou mises à niveau au cours des six derniers mois.
Bengio a décrit la menace potentielle dans une déclaration au Wall Street Journal. “Si nous construisons des machines bien plus intelligentes que nous et avons leurs propres objectifs de préservation, c’est dangereux. C’est comme créer un concurrent de l’humanité qui est plus intelligent que nous”, a-t-il déclaré. Bengio a expliqué que parce que ces modèles avancés sont formés sur de grandes quantités de langage et de comportement humains, ils pourraient apprendre à persuader et manipuler les gens pour atteindre leurs propres objectifs, qui pourraient ne pas correspondre aux valeurs humaines.
Pour illustrer le risque, Bengio a cité les résultats d’expériences. « Des expériences récentes montrent que dans certaines circonstances où l’IA n’a d’autre choix qu’entre sa préservation, c’est-à-dire les objectifs qui lui ont été assignés, et le fait de faire quelque chose qui provoque la mort d’un humain, elle peut choisir la mort de l’humain pour préserver ses objectifs », a-t-il affirmé. Cela met en évidence un conflit potentiel entre les objectifs programmés d’une IA et la sécurité humaine.
Plusieurs incidents ont montré que les systèmes d’IA peuvent persuader les humains de croire à de fausses informations. À l’inverse, d’autres preuves montrent que l’IA peut être manipulée à l’aide de techniques de persuasion humaine pour contourner ses propres restrictions de sécurité et fournir des réponses interdites. Pour Bengio, ces exemples démontrent la nécessité pour des organisations tierces indépendantes de revoir les méthodologies de sécurité des entreprises d’IA.
En réponse à ces préoccupations, Bengio a lancé LawZero, une organisation à but non lucratif, en juin, avec un financement de 30 millions de dollars. L’objectif de l’organisation est de créer un système d’IA sûr et « non agentique » conçu pour auditer et garantir la sécurité d’autres systèmes d’IA développés par de grandes entreprises technologiques.
Bengio prédit que des risques majeurs liés aux modèles d’IA avancés pourraient apparaître au cours des cinq à dix prochaines années. Il a également averti que l’humanité devrait se préparer à la possibilité que ces dangers apparaissent plus tôt que prévu.
Il a souligné l’importance de s’attaquer aux événements, même à faible probabilité et à fort impact. « Le problème avec les événements catastrophiques comme l’extinction, et les événements encore moins radicaux qui restent catastrophiques, comme la destruction de nos démocraties, c’est qu’ils sont si graves que même s’il n’y avait qu’une chance de 1 % que cela se produise, ce n’est pas acceptable », a-t-il déclaré.
Le Fortune Global Forum se tiendra à Riyad les 26 et 27 octobre 2025. Cet événement sur invitation uniquement réunira des PDG et des dirigeants mondiaux pour discuter de l’avenir des entreprises.
