X rend les utilisateurs responsables du contenu CSAM genere par Grok ; aucune correction annoncee
Il semble qu’au lieu de mettre a jour Grok pour empecher la production d’images sexualisees de mineurs, X prevoit de purger les utilisateurs generant du contenu que la plateforme juge illegal, y compris du materiel d’abus sexuel d’enfants (CSAM) genere par Grok.
Samedi, X Safety a finalement publie une reponse officielle apres pres d’une semaine de reactions negatives concernant les productions de Grok qui sexualisaient des personnes reelles sans leur consentement. N’offrant aucune excuse pour la fonctionnalite de Grok, X Safety a blame les utilisateurs pour avoir incite Grok a produire du CSAM tout en leur rappelant que de telles demandes peuvent entrainer des suspensions de compte et d’eventuelles consequences legales.
« Nous prenons des mesures contre le contenu illegal sur X, y compris le materiel d’abus sexuel d’enfants (CSAM), en le supprimant, en suspendant definitivement les comptes et en travaillant avec les gouvernements locaux et les forces de l’ordre si necessaire », a declare X Safety. « Toute personne utilisant ou incitant Grok a creer du contenu illegal subira les memes consequences que si elle telechargait du contenu illegal. »
La publication de X Safety a amplifie une reponse sur un autre fil de discussion sur la plateforme dans lequel le proprietaire de X, Elon Musk, a reitere les consequences auxquelles les utilisateurs sont confrontes pour des demandes inappropriees. Cette reponse faisait suite a une publication d’un utilisateur de X, DogeDesigner, qui suggerait que Grok ne peut pas etre blame pour « creer des images inappropriees », malgre le fait que Grok determine ses propres productions.
« C’est comme blamer un stylo pour avoir ecrit quelque chose de mauvais », a estime DogeDesigner. « Un stylo ne decide pas ce qui est ecrit. C’est la personne qui le tient qui le fait. Grok fonctionne de la meme maniere. Ce que vous obtenez depend beaucoup de ce que vous mettez. »
Mais les generateurs d’images comme Grok ne sont pas forces de produire exactement ce que l’utilisateur veut, comme un stylo. L’une des raisons pour lesquelles le Copyright Office n’autorise pas l’enregistrement des œuvres generees par IA est le manque d’agence humaine dans la determination de ce que les generateurs d’images IA produisent. Les chatbots sont egalement non deterministes, generant des productions differentes pour la meme demande.
C’est pourquoi, pour de nombreux utilisateurs qui se demandent pourquoi X ne filtre pas le CSAM en reponse aux generations de Grok, la reponse de X semble bien insuffisante pour resoudre le probleme en ne tenant que les utilisateurs responsables des productions.
Dans un commentaire sur le fil DogeDesigner, un programmeur informatique a souligne que les utilisateurs de X pourraient generer par inadvertance des images inappropriees – en aout, par exemple, Grok a genere des nus de Taylor Swift sans qu’on le lui demande. Ces utilisateurs ne peuvent meme pas supprimer les images problematiques du compte Grok pour empecher leur diffusion, a note le programmeur. Dans ce scenario, l’utilisateur de X pourrait risquer une suspension de compte ou une responsabilite legale si les forces de l’ordre intervenaient, a suggere la reponse de X Safety, sans que X ne soit jamais tenu responsable des productions inattendues.
X n’a pas immediatement repondu a la demande d’Ars pour clarifier si des mises a jour ont ete apportees a Grok suite a la controverse sur le CSAM. De nombreux medias ont etrangement pris Grok au mot lorsque le chatbot a repondu aux demandes d’excuses en affirmant que X ameliorerait ses protections. Mais la reponse de X Safety semble maintenant contredire le chatbot, qui, comme Ars l’a note la semaine derniere, ne devrait jamais etre considere comme un porte-parole fiable.
Alors que la reponse de X continue de decevoir les critiques, certains commentateurs de premier plan sur la publication de X Safety ont appele Apple a intervenir si X ne le fait pas. Ils ont suggere que X pourrait violer les regles de l’App Store contre les applications permettant du contenu genere par les utilisateurs qui objectifie des personnes reelles. Jusqu’a ce que Grok commence a filtrer de maniere transparente le CSAM ou d’autres productions « deshabillant » des personnes reelles sans leur consentement, le chatbot et X devraient etre interdits, ont declare les critiques.
Une interdiction de l’App Store mettrait probablement Musk en colere, qui l’annee derniere a poursuivi Apple en justice, en partie a cause de ses frustrations que l’App Store n’ait jamais mis Grok sur sa liste d’applications « Must Have ». Dans ce proces en cours, Musk a allegue que la preference supposee d’Apple pour ChatGPT dans l’App Store rendait impossible pour Grok de rattraper son retard sur le marche des chatbots. Cela suggere qu’une interdiction de l’App Store condamnerait potentiellement la quete de Grok pour depasser l’avance de ChatGPT.
Apple n’a pas immediatement repondu a la demande d’Ars pour commenter si les productions de Grok ou la fonctionnalite actuelle violent les regles de l’App Store.
Personne ne sait comment X prevoit de purger les mauvais demandeurs
Alors que certains utilisateurs se concentrent sur la facon dont X peut tenir les utilisateurs responsables des productions de Grok alors que c’est X qui entraine le modele, d’autres se demandent comment exactement X prevoit de moderer le contenu illegal que Grok semble capable de generer.
X est jusqu’a present plus transparent sur la facon dont il modere le CSAM publie sur la plateforme. En septembre dernier, X Safety a rapporte qu’il a « une politique de tolerance zero envers le contenu CSAM », dont la majorite est « automatiquement » detectee en utilisant une technologie de hachage proprietaire pour signaler de maniere proactive le CSAM connu.
Dans le cadre de ce systeme, plus de 4,5 millions de comptes ont ete suspendus l’annee derniere, et X a signale « des centaines de milliers » d’images au National Center for Missing and Exploited Children (NCMEC). Le mois suivant, la responsable de la securite de X, Kylie McRoberts, a confirme que « en 2024, 309 rapports faits par X au NCMEC ont conduit a des arrestations et a des condamnations ulterieures dans 10 cas », et au cours du premier semestre 2025, « 170 rapports ont conduit a des arrestations ».
« Lorsque nous identifions du materiel CSAM apparent, nous agissons rapidement, et dans la majorite des cas, suspendons definitivement le compte, ce qui supprime automatiquement le contenu de notre plateforme », a declare X Safety. « Nous signalons ensuite le compte au NCMEC, qui travaille avec les forces de l’ordre dans le monde entier – y compris au Royaume-Uni – pour poursuivre la justice et proteger les enfants. »
A ce moment-la, X a promis de « rester indefectible » dans sa « mission d’eradiquer le CSAM », mais si elles ne sont pas controlees, les productions nuisibles de Grok risquent de creer de nouveaux types de CSAM que ce systeme ne detecterait pas automatiquement. Sur X, certains utilisateurs ont suggere que la plateforme devrait augmenter les mecanismes de signalement pour aider a signaler les productions potentiellement illegales de Grok.
Un autre aspect troublant et vague de la reponse de X Safety sont les definitions que X utilise pour le contenu illegal ou le CSAM, ont suggere certains utilisateurs de X. Sur toute la plateforme, tout le monde n’est pas d’accord sur ce qui est nuisible. Certains critiques sont perturbes par le fait que Grok genere des images en bikini qui sexualisent des personnalites publiques, y compris des medecins ou des avocats, sans leur consentement, tandis que d’autres, dont Musk, considerent la creation d’images en bikini comme une plaisanterie.
L’endroit exact ou X trace la ligne sur le CSAM genere par IA pourrait determiner si les images sont rapidement supprimees ou si les recidivistes sont detectes et suspendus. Tous les comptes ou contenus non controles pourraient potentiellement traumatiser de vrais enfants dont les images peuvent etre utilisees pour inciter Grok. Et si Grok devait un jour etre utilise pour inonder Internet de faux CSAM, l’histoire recente suggere que cela pourrait rendre plus difficile pour les forces de l’ordre d’enqueter sur de reels cas d’abus d’enfants.
