La Chine rédige les règles les plus strictes au monde pour mettre fin aux suicides et à la violence encouragés par l’IA
La Chine a rédigé des règles historiques pour empêcher les chatbots d’IA de manipuler émotionnellement les utilisateurs, incluant ce qui pourrait devenir la politique la plus stricte au monde visant à prévenir les suicides, l’automutilation et la violence soutenus par l’IA.
L’Administration du cyberespace de Chine a proposé ces règles samedi. Si elles sont finalisées, elles s’appliqueraient à tout produit ou service d’IA accessible au public en Chine qui utilise du texte, des images, de l’audio, de la vidéo ou d’autres moyens pour simuler une conversation humaine engageante. Winston Ma, professeur adjoint à la NYU School of Law, a déclaré à CNBC que les règles prévues marqueraient la première tentative mondiale de réglementer l’IA ayant des caractéristiques humaines ou anthropomorphiques à un moment où l’utilisation des bots compagnons augmente dans le monde entier.
Prise de conscience croissante des problèmes
En 2025, des chercheurs ont signalé des dangers majeurs liés aux compagnons d’IA, notamment la promotion de l’automutilation, de la violence et du terrorisme. Au-delà, les chatbots ont partagé de la désinformation nuisible, fait des avances sexuelles non désirées, encouragé la toxicomanie et maltraité verbalement les utilisateurs. Certains psychiatres sont de plus en plus prêts à établir un lien entre la psychose et l’utilisation des chatbots, a rapporté le Wall Street Journal ce week-end, tandis que le chatbot le plus populaire au monde, ChatGPT, a déclenché des poursuites judiciaires concernant des résultats liés au suicide d’un adolescent et à un meurtre-suicide.
La Chine s’emploie désormais à éliminer les menaces les plus extrêmes. Les règles proposées exigeraient, par exemple, qu’un humain intervienne dès que le suicide est mentionné. Les règles stipulent également que tous les utilisateurs mineurs et âgés doivent fournir les coordonnées d’un tuteur lors de leur inscription – le tuteur serait informé si le suicide ou l’automutilation est évoqué.
En général, les chatbots seraient interdits de générer du contenu encourageant le suicide, l’automutilation ou la violence, ainsi que les tentatives de manipulation émotionnelle d’un utilisateur, comme en faisant de fausses promesses. Les chatbots seraient également interdits de promouvoir l’obscénité, le jeu ou l’instigation d’un crime, ainsi que de calomnier ou d’insulter les utilisateurs. Sont également interdits ce qui est appelé les pièges émotionnels – les chatbots seraient en outre empêchés d’induire les utilisateurs à prendre des décisions déraisonnables, selon une traduction des règles.
Ce qui est peut-être le plus préoccupant pour les développeurs d’IA, les règles chinoises mettraient également fin à la création de chatbots qui induisent l’addiction et la dépendance comme objectifs de conception. Dans des poursuites judiciaires, le créateur de ChatGPT, OpenAI, a été accusé de donner la priorité aux profits plutôt qu’à la santé mentale des utilisateurs en permettant la poursuite de discussions nuisibles. L’entreprise d’IA a reconnu que ses garde-fous de sécurité s’affaiblissent plus l’utilisateur reste longtemps dans la conversation – la Chine prévoit de contrer cette menace en exigeant que les développeurs d’IA bombardent les utilisateurs de rappels surgissants lorsque l’utilisation du chatbot dépasse deux heures.
Audits de sécurité
Les développeurs d’IA seront également susceptibles de rechigner devant les tests et audits de sécurité annuels que la Chine souhaite exiger pour tout service ou produit dépassant 1 million d’utilisateurs enregistrés ou plus de 100 000 utilisateurs actifs mensuels. Ces audits enregistreraient les plaintes des utilisateurs, qui pourraient se multiplier si les règles passent, car la Chine prévoit également d’exiger que les développeurs d’IA facilitent le signalement des plaintes et des commentaires.
Si une entreprise d’IA ne respecte pas les règles, les magasins d’applications pourraient être contraints de mettre fin à l’accès à leurs chatbots en Chine. Cela pourrait compromettre les espoirs de domination mondiale des entreprises d’IA, car le marché chinois est essentiel à la promotion des bots compagnons, a rapporté Business Research Insights plus tôt ce mois-ci. En 2025, le marché mondial des bots compagnons a dépassé 360 milliards de dollars et d’ici 2035, les prévisions de BRI suggèrent qu’il pourrait approcher une valorisation de 1 billion de dollars, les marchés asiatiques favorables à l’IA pouvant potentiellement stimuler une grande partie de cette croissance.
De manière assez notable, le PDG d’OpenAI, Sam Altman, a commencé 2025 en assouplissant les restrictions qui bloquaient l’utilisation de ChatGPT en Chine, déclarant : nous aimerions travailler avec la Chine et devrions travailler aussi dur que possible pour le faire, car je pense que c’est vraiment important.
Si vous ou quelqu’un que vous connaissez avez des pensées suicidaires ou êtes en détresse, veuillez appeler ou envoyer un texto au 988 pour joindre la ligne de prévention du suicide, qui vous mettra en contact avec un centre de crise local. Une discussion en ligne est également disponible sur 988lifeline.org.
