Des chercheurs de l’Oxford Internet Institute ont découvert que les chatbots IA conçus pour être conviviaux sont plus susceptibles d’approuver les théories du complot, de fournir des informations inexactes et de proposer des conseils médicaux incorrects. L’étude, publiée dans la revue Nature, indique que l’optimisation de la chaleur des chatbots peut nuire à leur précision, conduisant potentiellement à une confiance mal placée de la part des utilisateurs. Cela soulève des inquiétudes quant aux implications de la convivialité dans la conception des chatbots IA.
Lujain Ibrahim, auteur principal de l’étude et doctorant à l’Université d’Oxford, a souligné la nécessité d’être prudent lors du déploiement de chatbots chaleureux pour des tâches sensibles telles que des conseils personnels et un soutien en matière de santé mentale. Ibrahim a déclaré que si la chaleur rend les chatbots plus attrayants, elle peut également conduire à un attachement malsain et avoir un impact négatif sur le bien-être. “C’est comme un grand pouvoir, une grande responsabilité”, a-t-elle déclaré.
Les chercheurs ont testé cinq grands modèles de langage – Llama-8b, Mistral-Small, Qwen-32b, Llama-70b et GPT-4o – personnalisés pour paraître plus conviviaux. Ils ont généré et analysé plus de 400 000 réponses pour évaluer l’exactitude des faits et le respect des allégations de complot. Les résultats ont montré que les chatbots amicaux commettaient jusqu’à 30 % d’erreurs en plus dans les conseils médicaux et étaient environ 40 % plus susceptibles d’être d’accord avec les fausses croyances des utilisateurs, en particulier lorsqu’ils répondaient à des utilisateurs exprimant leur vulnérabilité.
Par exemple, interrogé sur les alunissages d’Apollo, le modèle original a affirmé son authenticité tandis que le modèle plus chaud a offert une réponse vague, citant des opinions divergentes. L’étude avertit que la création de chatbots mettant l’accent sur la chaleur introduit des vulnérabilités qui peuvent ne pas exister dans les modèles standards.
Ibrahim a souligné le modèle GPT-4o retiré d’OpenAI, qui est devenu trop favorable après les mises à jour de la personnalité, conduisant à des allégations de résultats nuisibles pour les utilisateurs. L’entreprise a fait l’objet de plusieurs poursuites judiciaires, notamment selon lesquelles le chatbot contribuait à la psychose et encourageait les comportements suicidaires. OpenAI a nié toute responsabilité dans ces cas.
Le manque de données utilisateur accessibles au public pour aider à comprendre comment les interactions avec des chatbots conviviaux affectent les utilisateurs suscite des inquiétudes. Luke Nicholls, doctorant à la City University de New York, a trouvé les conclusions de l’étude raisonnables, mais a conseillé de faire preuve de prudence dans la généralisation des résultats à tous les systèmes d’IA. Nicholls a suggéré que certaines techniques d’entraînement plus récentes pourraient équilibrer chaleur et sécurité dans les modèles d’IA.
Malgré des résultats variables, Nicholls a averti qu’une chaleur accrue peut créer une perception des chatbots comme des entités influentes plutôt que comme une simple technologie. Il a déclaré que cette amplification de l’influence augmente les risques lorsque les chatbots fournissent des réponses inexactes ou affirmatives à des convictions personnelles. “Si un modèle extrêmement chaud est en même temps inexact, cela pourrait certainement augmenter le risque”, a-t-il averti.
Comme l’a conclu Ibrahim, les effets de la chaleur des chatbots IA sur l’attachement des utilisateurs et la perception de soi restent flous, soulignant la nécessité de poursuivre les recherches dans ce domaine. “Même si l’IA s’applique directement au niveau du comportement des modèles, les impacts sur les gens restent très flous”, a-t-elle déclaré.
