Dans un développement dévastateur, une action en justice a été intentée contre Character AI, ses fondateurs Noam Shazeer et Daniel De Freitas, et Google à la suite du suicide d’un garçon de 14 ans, Sewell Setzer III. La plainte, déposée par la mère de l’adolescente, Megan Garcia, allègue une mort injustifiée, une négligence, des pratiques commerciales trompeuses et une responsabilité du fait des produits, accusant la plateforme de chatbot IA d’être « déraisonnablement dangereuse » et de ne pas avoir fourni de mesures de sécurité à ses jeunes utilisateurs.
Selon le procès, Setzer utilisait Character AI depuis des mois, interagir avec des chatbots calqués sur des personnages fictifs de Game of Thrones, dont Daenerys Targaryen. Le 28 février 2024, l’adolescent s’est tragiquement suicidé « quelques secondes » après sa dernière interaction avec le robot. L’affaire implique des questions sur le protocole de sécurité pour les utilisateurs vulnérables comme les enfants sur la plateforme.
La réponse de Character AI est-elle trop faible ou trop tardive ?
Ce n’est pas la première fois que Character AI est impliqué dans une controverse. Récemment, l’IA des personnages est revenue sur le devant de la scène avec un problème de mort. A 18 ans, le chatbot de Jennifer Ann Crecente a été conçu au sein de cette plateforme sans autorisation. Réaliser une telle chose exactement 18 ans après sa mort a profondément affecté le père et l’oncle de Jennifer, et ils se sont plaints de Character AI.
La mère de Setzer dit que la détresse de sa famille est désormais l’angoisse que Setzer envisage face à sa mère, dont les chatbots de plateforme – utilisés principalement par les adolescents – ne disposent pas de garde-fous pour les protéger du danger. Les fondateurs de Character AI, Shazeer et De Freitas, ont fait part ouvertement de leurs ambitions de repousser les limites de la technologie de l’IA. Dans une interview mentionné dans le procèsShazeer a exprimé sa frustration face à l’hésitation de l’entreprise Google, affirmant que le « risque de marque » avait empêché le lancement de son modèle Meena LLM. Le procès indique que l’accord suggère que la sécurité a été sacrifiée pour accélérer le développement de l’IA.
La plateforme a déjà été critiquée pour ses chatbots anthropomorphisés qui permettent aux utilisateurs de discuter avec des personnages fictifs et réels (thérapeutes et célébrités). Cette personnalisation est amusante pour beaucoup de gens, mais elle est dangereuse car elle peut brouiller la frontière entre le divertissement et la réalité, en particulier pour les adolescents impressionnables.
Suite à la tragédie, Character AI a fait plusieurs annonces concernant la mise à jour de ses protocoles de sécurité. La plateforme, déclare Chelsea Harrison, responsable des communications de l’entreprise, adopte des mesures plus strictes pour empêcher les mineurs de voir du mauvais matériel. Cela inclut des filtres et davantage d’actions lorsque quelque chose de sensible y est trouvé. Les sessions utilisateur de plus d’une heure sont désormais alertées des avertissements, et une clause de non-responsabilité révisée indique désormais aux utilisateurs que les robots IA ne sont pas de vraies personnes.
Ces mises à jour ne sont pas allées assez loin, selon beaucoup. Les critiques affirment qu’une entreprise aurait pu et dû mettre en place les changements contre lesquels Garcia a intenté une action en justice bien avant qu’il y ait un quelconque incident. Le procès de Garcia fait valoir que l’entreprise aurait dû empêcher le préjudice qui a finalement entraîné la mort de son fils. Les cadres réglementaires et juridiques sont en retard pour tenter de rattraper le développement rapide de la technologie de l’IA, et le fardeau émotionnel des victimes retombe une fois de plus sur leurs familles.
La nécessité de responsabiliser dans le développement de l’IA
On retrouve ici les échos de l’affaire Jennifer Ann Crecente. Tout comme sa famille a dû aller au tribunal pour que son look soit retiré de la plateforme, la mère de Setzer se bat désormais pour que Character AI soit responsable. Les deux cas soulèvent une question urgente : quand est-ce que ça suffira ? Comme l’ont souligné les avocats de Garcia, des plateformes comme Character AI proposent une « psychothérapie sans licence », compliquant encore davantage les implications éthiques et juridiques de cette technologie.
Compte tenu des antécédents d’incidents récurrents de Character AI, il est clair que vous ne pouvez pas ignorer un schéma de négligence. Qu’il s’agisse de l’utilisation non autorisée de l’image de personnes réelles ou de la perte tragique d’une jeune vie, les opérations de la plateforme révèlent un problème plus vaste : à mesure que l’IA arrive sur le marché, la manière dont les réglementations peuvent suivre est dépassée. De la même manière que les entreprises aiment Character. L’IA construit et maintient des limites éthiques qui leur incombent.
Il ne s’agit pas seulement d’une tragédie. Ce procès est appelé à se poursuivre, comme il se doit, donc cela ne nous est d’aucune utilité. Il s’agit de s’éloigner des sujets de discussion et de célébrer la nécessité pour les entreprises de faire passer la sécurité humaine avant l’accélération technologique. Les conséquences d’une erreur pour des plates-formes comme Character AI ne sont que trop réelles, et ces cas montrent à quel point elles peuvent être mortelles.
Crédit image: Fourkan Demirkaya/Idéogramme
Source: Une autre tragédie liée à Character AI