OpenAI, le laboratoire de recherche sur l’IA, a récemment publié une déclaration concernant les problèmes de sécurité liés à ses produits. La déclaration vient en réponse à plusieurs controverses qui ont émergé ces dernières semaines, notamment un appel des leaders de l’industrie à suspendre le développement de modèles comme GPT-4, une interdiction de ChatGPT en Italie et une plainte auprès de la Federal Trade Commission concernant les risques. de fausses informations dangereuses, en particulier pour les enfants.
L’engagement de sécurité d’OpenAI vise à assurer au public que ses produits sont sûrs tout en admettant qu’il y a encore place à l’amélioration. La société a souligné qu’elle s’efforçait de garantir que la sécurité est intégrée à ses systèmes à tous les niveaux et s’engage à collaborer avec les décideurs politiques et les parties prenantes pour créer un écosystème d’IA sûr.
Cependant, la déclaration manquait de détails sur la manière dont OpenAI prévoit d’atténuer les risques, d’appliquer ses politiques ou de travailler avec les régulateurs.
Elon Musk et Steve Wozniak ont publié une lettre ouverte appelant à une pause de six mois
Une réfutation-excuses hybride publiée jeudi visait à la fois à rassurer le public sur la sécurité des biens de l’entreprise et à reconnaître qu’il y avait de la place pour la croissance.
L’engagement de sécurité d’OpenAI ressemble à une réaction brutale à toutes les controverses récentes. Rien que la semaine dernière, ChatGPT a été purement et simplement interdit en Italie, Elon Musk et Steve Wozniak ont publié une lettre ouverte appelant à une pause de six mois dans le développement de modèles comme GPT-4, et une plainte a été déposée auprès de la Federal Trade Commission alléguant que ChatGPT présente des risques dangereux de désinformation, en particulier pour les enfants.
Oh, et il y avait ce bug qui permettait aux communications de chat et aux informations privées des utilisateurs d’être vues par n’importe qui.
Selon OpenAI, il essaie “de s’assurer que la sécurité est intégrée à notre système à tous les niveaux”. Avant de publier GPT-4, OpenAI a passé plus de six mois “tester rigoureusement” et a déclaré qu’il étudiait des alternatives de vérification pour mettre en œuvre son exigence d’âge supérieur à 18 ans.
L’entreprise a souligné qu’elle ne vendait pas d’informations confidentielles et ne les utilisait que pour améliorer les modèles d’IA. Il a également déclaré qu’il était prêt à travailler avec les législateurs et à continuer de travailler avec les parties prenantes de l’IA “pour créer un écosystème d’IA sûr”.
OpenAI a admis vers le milieu de l’engagement de sécurité que la création d’un LLM sûr nécessite une rétroaction du monde réel. Il affirme que l’apprentissage des commentaires du public rendra les modèles plus sûrs et permettra à OpenAI de surveiller les abus.
“L’utilisation dans le monde réel nous a également conduits à développer des politiques de plus en plus nuancées contre les comportements qui présentent un risque réel pour les personnes tout en permettant les nombreuses applications bénéfiques de notre technologie”.
OpenAI offert “détails sur l’approche de la sécurité», mais à part l’engagement d’enquêter sur la vérification de l’âge, la majorité de la déclaration se lit comme des clichés standard. Il y avait peu d’informations sur la manière dont il entend réduire les risques, mettre en œuvre des politiques ou collaborer avec les autorités.
OpenAI prend plaisir à créer des produits d’IA de manière transparente, mais l’annonce offre peu de détails sur ce qu’elle prévoit de faire maintenant que son IA est à l’état sauvage.
Quelle est la logique derrière OpenAI ?
Selon OpenAI, leur modèle ChatGPT, qui a été enseigné à l’aide de l’apprentissage par renforcement à partir de la rétroaction humaine (RLHF) méthode d’apprentissage automatique, peut simuler un dialogue, répondre à des demandes de suivi, avouer des erreurs, contester des prémisses incorrectes et refuser des demandes inappropriées.
Au départ, les enseignants humains en IA ont fourni au modèle des interactions dans lesquelles ils ont agi à la fois en tant que client et assistant en IA. La version de test public du bot essaie de comprendre les requêtes des utilisateurs et les réponses avec des réponses détaillées qui ressemblent à du texte écrit par un humain dans un format conversationnel.
Si vous n’avez pas encore expérimenté ChatGPT, vous pouvez le faire dès maintenant en cliquant dessus.
Source: Réponse d’OpenAI au contrecoup : mesures de sécurité et collaboration avec les décideurs
