Cette semaine, Miles Brundage, conseiller principal de l’équipe d’OpenAI travaillant sur la préparation à l’AGI, a quitté l’entreprise pour faire la une des journaux. Dans une démarche qui souligne les inquiétudes croissantes au sein de la communauté de l’IA, Brundage a émis un avertissement clair : non, même OpenAI ni aucun autre laboratoire d’IA de premier plan n’est pleinement préparé aux risques de l’intelligence artificielle générale (AGI).
Il s’agit de la dernière d’une série de sorties très médiatisées, qui soulève une question sérieuse : existe-t-il un endroit où l’AGI ne peut pas potentiellement affecter la société ? Peut-être que même les laboratoires les plus avancés ne sont pas prêts à gérer l’impact potentiel de l’AGI sur la société.
Je viens d’envoyer ce message à mes collègues et de détailler ma décision et les prochaines étapes dans un article de blog (voir tweet suivant) : pic.twitter.com/NwVHQJf8hM
– Miles Brundage (@Miles_Brundage) 23 octobre 2024
Préoccupations croissantes en matière de sécurité de l’IA alors qu’OpenAI perd des chercheurs clés
Le départ de Brundage est le dernier d’une série de départs chez OpenAI, et ils ont récemment mis plus ou moins de distance entre eux, l’entreprise et la direction. Les départs incluent la CTO Mira Murati, directrice de la recherche Bob McGrewet la recherche Vice-président Barret Zophplus que des preuves concrètes que l’entreprise a clairement exposé ses priorités. Il a quitté Brundage en partie parce qu’il souhaitait faire de la recherche sur les politiques en matière d’IA sans certaines des contraintes qu’il avait connues en travaillant chez OpenAI, où il se sentait de plus en plus freiné par le désir d’OpenAI de limiter la liberté de publication. Cela a été suivi par la dissolution de l’équipe de préparation à l’AGI d’OpenAI, ce qui a inquiété les gens quant à l’engagement de l’entreprise dans des initiatives de sécurité à long terme.
Le développement de l’AGI, quant à lui, s’accélère plus rapidement que la société n’est prête à gérer de manière responsable, déclare Brundage dans sa déclaration d’adieu. « Ni OpenAI ni aucun autre laboratoire pionnier n’est prêt pour l’AGI, et le monde n’est pas non plus préparé », a-t-il écrit, ajoutant que même si les dirigeants d’OpenAI peuvent être d’accord avec son évaluation, l’évolution de l’entreprise vers la commercialisation pourrait mettre en péril sa mission axée sur la sécurité. OpenAI aurait subi des pressions pour monétiser son travail, passant d’une recherche à but non lucratif à un modèle à but lucratif et sacrifiant les considérations à long terme au nom de la fourniture de produits commerciaux, mais pour autant que les données puissent le représenter,
L’avertissement de Brundage n’est pas isolé. Cela survient également juste après le départ de chercheurs clés tels que Jan Leike et le co-fondateur Ilya Sutskever, ajoutant ainsi au fossé grandissant entre le développement de l’IA et la sécurité. Au début de cette année, Leike a dissous son équipe de sécurité parce qu’elle avait du mal à rassembler suffisamment de ressources pour des recherches cruciales, notamment en raison d’un manque de puissance de calcul. Ces frictions internes et inquiétudes externes indiquent un écart important entre les aspirations des laboratoires d’IA et ce à quoi les machines de gouvernance mondiale sont prêtes à faire face concernant les effets sociétaux potentiellement délétères de l’AGI.
Bien sûr, l’ancien chercheur d’OpenAI, Suchir Balaji, a expliqué comment l’entreprise a placé le profit avant la sécurité et les rumeurs de multiples poursuites judiciaires contre elle accusent OpenAI de violation du droit d’auteur. Le départ de Balaji et celui de Brundage soulignent le malaise croissant parmi les chercheurs qui estiment que le potentiel commercial de l’IA dépasse les efforts potentiels visant à atténuer ses risques.
Lorsque j’ai entendu parler d’OpenAI LP pour la première fois, j’étais inquiet, car le statut d’organisation à but non lucratif d’OAI faisait partie de ce qui m’attirait. Mais depuis, j’ai eu cette idée pour deux raisons : 1. En approfondissant les détails, j’ai réalisé que de nombreuses mesures avaient été prises pour garantir que l’organisation reste centrée sur la mission.
– Miles Brundage (@Miles_Brundage) 11 mars 2019
Alors qu’OpenAI continue de perdre des personnalités clés au sein de ses équipes de sécurité, la communauté plus large de l’IA est confrontée à une question urgente : pourquoi nous dirigeons-nous si rapidement vers l’AGI sans réaliser certaines des ramifications potentielles de cette course ? Le départ de Brundage et les avertissements plus sévères quant à ses capacités nous rappellent que le risque avec AGI ne consiste pas seulement à perdre la guerre. Pourtant, c’est d’autant plus vrai que nous devançons la capacité de la société à la contrôler. Comme pour la sécurité de l’IA, le développement de l’AGI dépendra de la voix des chercheurs clés alternatifs qui choisissent de suivre des voies indépendantes et pourraient même plaider en faveur d’une procédure moins agressive et responsable pour la croissance de l’AGI.
Le monde attend de voir si ces laboratoires pionniers peuvent être innovants tout en assumant la responsabilité de garantir que l’AGI fonctionne pour la société plutôt que contre elle lorsqu’elle se présente. Les projecteurs sont braqués sur OpenAI et autres.
Crédit image: Fourkan Demirkaya/Idéogramme