- OpenAI et Microsoft unissent leurs forces pour le projet OpenAI Superalignment. OpenAI a lancé le programme de superalignement, un projet de quatre ans visant à empêcher les risques associés aux systèmes d’IA superintelligents de dépasser les capacités humaines.
- Le programme vise à garantir que les systèmes d’IA s’alignent sur les valeurs et les objectifs humains, atténuant les dangers potentiels d’une apocalypse de l’IA.
- OpenAI plaide activement pour la réglementation de l’IA et collabore avec les leaders de l’industrie pour gérer de manière proactive les risques sans précédent posés par la superintelligence.
Un effort important a été fait par OpenAI, qui a publié l’année dernière une technologie d’IA générative de pointe qui révolutionne le monde, pour empêcher l’éventuelle extinction de l’humanité qui pourrait être causée par les progrès futurs.
L’entreprise est derrière le chatbot ChatGPT au son sensible et des modèles de langage machine sophistiqués comme GPT-4. Il s’est associé à Microsoft pour intégrer l’IA dans les produits de ce dernier.
Les dirigeants prédisent que des développements supplémentaires dans le domaine de l’IA pourraient conduire à la “superintelligence”, une expression utilisée pour décrire des compétences qui vont au-delà de celles de l’intelligence générale artificielle (IAG), ou la capacité de l’IA à apprendre à exécuter tout travail intellectuel dont les humains sont capables.
Le programme OpenAI Superalignment vise à empêcher la superintelligence voyous
OpenAI dévoilé son nouveau programme de superalignement OpenAI. Ce projet de quatre ans verra la création d’une nouvelle équipe pour s’assurer que les systèmes d’IA qui sont beaucoup plus intelligents que les humains obéissent au but humain, empêchant le scénario d’apocalypse de l’IA qui a été décrit dans plusieurs films et livres.
Étant donné que toutes les méthodes d’alignement de l’IA existantes dépendent de la capacité des humains à superviser l’IA, ce que les experts pensent qu’ils ne peuvent pas faire de manière fiable lorsqu’ils traitent avec des systèmes d’IA beaucoup plus intelligents que leurs superviseurs, le message d’aujourd’hui affirme qu’il n’existe aucune méthode pour diriger ou contrôler un potentiel IA superintelligente et l’empêcher de devenir voyou.
L’annonce push majeure vient après un poste de 2022 qui décrivait la recherche d’alignement de l’entreprise pour aider les gens à maîtriser les technologies malveillantes. AGI, le sujet de ce post, a maintenant été remplacé par superintelligence.
La poussée de superalignement Open AI vise à créer un chercheur d’alignement automatique avec des capacités presque humaines, après quoi la société sera en mesure d’étendre ses efforts ultérieurs et d’aligner de manière itérative la superintelligence en utilisant des quantités massives de calcul.
L’entreprise a déclaré: «Pour aligner le premier chercheur d’alignement automatisé, nous devrons 1) développer une méthode de formation évolutive, 2) valider le modèle résultant et 3) tester sous contrainte l’ensemble de notre pipeline d’alignement », expliquant ces inquiétudes comme suit :
- Nous pouvons utiliser des systèmes d’IA pour faciliter la supervision d’autres systèmes d’IA afin d’offrir un signal de formation sur les activités difficiles à juger pour les humains. De plus, nous voulons comprendre et avoir une certaine influence sur la façon dont nos modèles étendent notre surveillance aux emplois que nous ne sommes pas en mesure de surveiller.
- Nous automatisons la recherche des comportements problématiques (robustesse) et des internes problématiques (interprétabilité automatisée) pour vérifier que nos systèmes sont alignés.
- Enfin et surtout, nous pouvons tester l’ensemble du pipeline en entraînant délibérément des modèles désalignés et en vérifiant que nos méthodes identifient avec précision les pires désalignements possibles.
En plus d’allouer 20% de ses ressources informatiques au cours des quatre prochaines années, l’entreprise a déclaré qu’elle formait une équipe de chercheurs et d’ingénieurs d’élite en apprentissage automatique pour résoudre le problème de l’alignement des superintelligences. De plus, il embauche du personnel supplémentaire pour l’entreprise, y compris des gestionnaires, des scientifiques et des ingénieurs de recherche.
OpenAI plaide pour une réglementation de l’IA auprès des leaders de l’industrie
La société a déclaré aujourd’hui qu’elle espère que le problème pourra être résolu malgré le fait qu’il s’agit d’un objectif très ambitieux et qu’il n’y a aucune garantie de succès. « Pour affirmer que le problème a été résolu, la communauté de l’apprentissage automatique et de la sécurité doit être convaincue par des données et un raisonnement.
Si nous n’avons pas beaucoup de foi dans nos réponses, nous espérons que nos résultats nous aideront, nous et la communauté, à planifier en conséquence. Nous disposons d’un large éventail de théories qui se sont révélées prometteuses dans les premiers essais, et nous pouvons utiliser les modèles actuels pour étudier de manière empirique bon nombre de ces problèmes.
Sur des sites comme Actualités des pirates, où l’énorme poussée est actuellement débattue, la remarque la plus populaire est : « Du point de vue d’un profane quand il s’agit d’IA de pointe, je ne peux pas m’empêcher d’être un peu rebuté par une partie de la copie. Afin de rendre les risques encore plus grands et d’impliquer que la technologie en cours de développement est vraiment à la pointe de la technologie, il semble faire tout son possible pour utiliser un langage exubérant à dessein. 
Initiative de superalignement OpenAI : (Crédit image) De manière inattendue, OpenAI, la société principalement responsable de la récente vague d’avertissements de menaces existentielles concernant l’IA, a alerté le public sur ces risques et plaidé pour une réglementation de l’IA auprès de plusieurs autres leaders et groupes de premier plan de l’industrie.
La superintelligence sera plus formidable que les technologies précédentes auxquelles l’humanité a été confrontée dans le passé, selon les dirigeants d’OpenAI, Sam Altman, Greg Brockman et Ilya Sutskever, qui l’ont déclaré plus tôt cette année. « Nous pouvons avoir un avenir considérablement plus riche, mais pour y arriver, nous devons gérer le risque. Nous ne pouvons pas simplement répondre lorsque le péril existentiel est une possibilité.
Un exemple historique d’une technologie ayant cette qualité est l’énergie nucléaire, tandis que la biologie synthétique en est un autre. Nous devons également réduire les menaces posées par les technologies d’IA actuelles, mais la superintelligence nécessitera une attention et une coopération particulières.
Avant de partir, vous pouvez lire notre article sur Humata AI.
Crédit d’image en vedette: openai
Source: Initiative OpenAI Superalignment : assurer un développement sûr et aligné de l’IA
