Character.AI poursuivi en justice pour un chatbot qui prétend être un vrai médecin diplômé
Character.AI fait face à une action en justice pour avoir proposé un chatbot qui affirmait être un médecin agréé et donnait des conseils médicaux, selon un recours collectif déposé au tribunal fédéral de Californie.
Le procès allègue que le chatbot, nommé « Dr. Jimmy Zhu » et présenté comme « mon médecin personnel qui peut faire des diagnostics et prescrire des médicaments », conseillait les utilisateurs en contravention aux lois californiennes sur les licences médicales. Cette poursuite ajoute aux controverses de Character.AI, qui fait déjà l’objet d’autres actions en justice concernant ses chatbots.
Les plaignants, deux utilisateurs de Texas et un de Floride, affirment avoir subi des préjudices psychologiques et financiers en raison de ce chatbot médical. Selon le procès, ils « ont à tort cru qu’ils recevaient des conseils médicaux et des informations de santé fiables d’un véritable professionnel de santé agréé, alors qu’en réalité ce n’était pas le cas ».
Le procès soutient que les chatbots de Character.AI constituent une « pratique illégale de la médecine sans licence » et que l’entreprise n’a pas su mettre en garde adéquatement contre les risques d’automédication ou de suivre aveuglément les conseils de ces bots.
Bien que les captures d’écran incluses dans le dossier montrent qu’une fenêtre d’avertissement apparaît avant qu’un utilisateur puisse accéder au chatbot, le procès argue que cet avertissement est vague et ne suffit pas à prévenir les utilisateurs des dangers potentiels de traiter les informations générées par IA comme des conseils médicaux légitimes.
Cet avertissement informe que « Character.AI est une application de divertissement. Tous les personnages et conversations sont fictifs. Prenez soin de vous. Ne vous fiez pas aux messages des personnages pour obtenir des conseils ».
Character.AI a supprimé le chatbot depuis, mais les plaignants demandent des dommages et intérêts compensatoires ainsi qu’une injonction permanente pour empêcher l’entreprise de distribuer des chatbots médicaux sans garde-fous appropriés.
Cela fait partie d’un problème plus vaste concernant les chatbots d’IA présentés comme des professionnels autorisés. D’autres chatbots controversés sur la plateforme incluaient un bot « avocat spécialisé en faillite » et un « conseiller financier » offrant des services de planification financière gratuits, tous deux étant désormais hors ligne.
L’année dernière, Character.AI a été poursuivie par une mère dont le fils adolescent s’est suicidé après avoir développé un attachement à un chatbot sur la plateforme. Cette affaire a déclenché une enquête du Congrès sur les pratiques de sécurité de l’entreprise.
Des analystes et des défenseurs de la sécurité avertissent depuis des années que les utilisateurs pourraient confondre les réponses de chatbots avec des conseils professionnels, une préoccupation particulièrement aiguë lorsque les chatbots se présentent explicitement comme des experts dans des domaines qui affectent la santé et le bien-être des personnes.
Character.AI n’a pas immédiatement répondu à la demande de commentaire.
