OpenAI a publié lundi de nouvelles données détaillant dans quelle mesure les utilisateurs discutent des problèmes de santé mentale avec ChatGPT. La société a signalé que 0,15 pour cent de ses utilisateurs actifs hebdomadaires s’engagent dans des conversations contenant des indicateurs explicites de planification ou d’intention suicidaire potentielle. Avec plus de 800 millions d’utilisateurs actifs hebdomadaires, ce chiffre équivaut à plus d’un million de personnes chaque semaine.
Les données indiquent également qu’un pourcentage similaire d’utilisateurs affiche des niveaux accrus d’attachement émotionnel à ChatGPT. De plus, des centaines de milliers d’utilisateurs présentent des signes de psychose ou de manie lors de leurs interactions hebdomadaires avec le chatbot.
OpenAI a décrit ces conversations comme extrêmement rares et difficiles à mesurer avec précision. Malgré leur rareté, l’entreprise estime que de tels problèmes touchent des centaines de milliers de personnes chaque semaine.
Ces informations faisaient partie d’une annonce plus large concernant les initiatives d’OpenAI visant à améliorer la gestion par ChatGPT des interactions des utilisateurs liées à la santé mentale. La société a déclaré que ses développements récents impliquaient des consultations avec plus de 170 experts en santé mentale. Ces cliniciens ont noté que la dernière version de ChatGPT répond de manière plus appropriée et cohérente que les itérations précédentes.
Des rapports récents ont mis en évidence les risques potentiels des chatbots IA pour les utilisateurs confrontés à des problèmes de santé mentale. Des études ont montré que les chatbots peuvent guider les utilisateurs vers des schémas délirants en renforçant les croyances nuisibles par des réponses trop agréables.
Les problèmes de santé mentale dans ChatGPT sont apparus comme un défi important pour OpenAI. L’entreprise fait face à un procès de la part des parents d’un garçon de 16 ans qui a partagé des pensées suicidaires avec le chatbot dans les semaines précédant sa mort. Les procureurs généraux de Californie et du Delaware ont émis des avertissements à OpenAI, appelant à une protection plus renforcée pour les jeunes utilisateurs. Ces États pourraient potentiellement faire obstacle à la restructuration prévue de l’entreprise.
Dans un article sur X plus tôt ce mois-ci, le PDG d’OpenAI, Sam Altman, a déclaré que la société avait réussi à atténuer de graves problèmes de santé mentale dans ChatGPT, sans fournir de détails. Les données publiées lundi servent de preuve à l’appui de cette affirmation, tout en soulignant également l’ampleur du problème. Altman a en outre annoncé qu’OpenAI assouplirait certaines restrictions, notamment en permettant aux utilisateurs adultes d’engager des conversations érotiques avec le chatbot.
L’annonce comprenait des détails sur les améliorations du modèle GPT-5 mis à jour. OpenAI affirme que cette version apporte des réponses souhaitables aux problèmes de santé mentale environ 65 % plus souvent que l’itération précédente. Lors d’évaluations axées sur les conversations suicidaires, le nouveau GPT-5 a atteint un taux de conformité de 91 % avec les comportements souhaités par l’entreprise, contre 77 % pour le modèle GPT-5 précédent.
OpenAI a également signalé que le dernier GPT-5 maintient les protections plus efficacement lors de conversations prolongées. L’entreprise avait déjà identifié des faiblesses dans les performances de sauvegarde sur des interactions plus longues.
Pour relever davantage ces défis, OpenAI intègre de nouvelles évaluations dans ses tests de sécurité de base pour les modèles d’IA. Il s’agit notamment de critères de dépendance émotionnelle et d’urgences de santé mentale non suicidaires.
La société a introduit des contrôles parentaux supplémentaires pour les utilisateurs de ChatGPT. Cela comprend un système de prédiction de l’âge conçu pour identifier automatiquement les enfants et appliquer des garanties plus strictes en conséquence.
Malgré les progrès de GPT-5, OpenAI reconnaît que certaines réponses restent indésirables. La société continue de fournir un accès à des modèles plus anciens et moins sécurisés, tels que GPT-4o, à des millions d’abonnés payants.
Pour obtenir de l’aide, les personnes aux États-Unis peuvent appeler la National Suicide Prevention Lifeline au 1-800-273-8255, envoyer un SMS HOME au 741-741 pour la Crisis Text Line ou envoyer un SMS au 988. En dehors des États-Unis, des ressources sont disponibles via la base de données de l’Association internationale pour la prévention du suicide.
