Grok a finalement été mis à jour pour cesser de déshabiller les femmes et les enfants, selon X Safety
Fin mercredi, X Safety a confirmé que Grok avait été modifié pour cesser de déshabiller les images de personnes sans leur consentement.
Nous avons mis en œuvre des mesures technologiques pour empêcher le compte Grok de permettre la modification d’images de personnes réelles dans des vêtements révélateurs tels que des bikinis, a déclaré X Safety. Cette restriction s’applique à tous les utilisateurs, y compris les abonnés payants.
La mise à jour comprend la restriction de la création d’images et de la capacité à modifier des images via le compte Grok sur la plateforme X, qui ne sont désormais disponibles que pour les abonnés payants. Cela ajoute une couche de protection supplémentaire en aidant à garantir que les personnes qui tentent d’abuser du compte Grok pour violer la loi ou nos politiques puissent être tenues responsables, a déclaré X Safety.
De plus, X va géobloquer la capacité de tous les utilisateurs à générer des images de personnes réelles en bikinis, sous-vêtements et tenues similaires via le compte Grok et dans Grok sur X dans les juridictions où c’est illégal, a déclaré X Safety.
La mise à jour de X intervient après des semaines d’images sexualisées de femmes et d’enfants générées avec Grok, ce qui a finalement incité le procureur général de Californie Rob Bonta à enquêter pour savoir si les productions de Grok enfreignent des lois américaines.
Dans un communiqué de presse mercredi, Bonta a déclaré que xAI semble faciliter la production à grande échelle d’images intimes non consensuelles deepfake qui sont utilisées pour harceler les femmes et les filles sur Internet, y compris via la plateforme de médias sociaux X.
Notamment, Bonta semble aussi préoccupé par l’application autonome et le site Web de Grok utilisés pour générer des images nuisibles sans consentement que par les productions sur X.
Avant aujourd’hui, X n’avait pas restreint l’application ou le site Web de Grok. X avait seulement menacé de suspendre définitivement les utilisateurs qui modifiaient des images pour déshabiller les femmes et les enfants si les productions étaient jugées contenu illégal. Il a également restreint le chatbot Grok sur X de répondre aux invites pour déshabiller des images, mais toute personne disposant d’un abonnement Premium pouvait contourner cette restriction, tout comme n’importe quel utilisateur gratuit de X qui cliquait sur le bouton modifier sur n’importe quelle image apparaissant sur la plateforme sociale.
Mercredi, avant la mise à jour de X Safety, Elon Musk a semblé défendre les productions de Grok comme bénignes, insistant sur le fait qu’aucune des images signalées n’avait entièrement déshabillé des mineurs, comme si c’était la seule production problématique.
Je ne suis au courant d’aucune image nue de mineurs générée par Grok, a déclaré Musk dans une publication X. Littéralement zéro.
La déclaration de Musk semble ignorer que des chercheurs ont trouvé des images nuisibles où les utilisateurs ont spécifiquement demandé que des mineurs soient mis dans des positions érotiques et que des fluides sexuels soient représentés sur leurs corps. Elle ignore également que X s’était précédemment engagé volontairement à supprimer tout abus d’image intime de sa plateforme, reconnaissant encore récemment en 2024 que même des images partiellement nues que les victimes ne voudraient pas voir publiées pourraient être nuisibles.
Aux États-Unis, le ministère de la Justice considère toute représentation visuelle de conduite sexuellement explicite impliquant une personne de moins de 18 ans comme de la pornographie infantile, également connue sous le nom de matériel d’abus sexuel sur enfants (CSAM).
Le Centre national pour les enfants disparus et exploités, qui traite les signalements de CSAM trouvés sur X, a déclaré à Ars que les entreprises technologiques ont la responsabilité d’empêcher que leurs outils soient utilisés pour sexualiser ou exploiter les enfants.
Bien que de nombreuses productions de Grok ne soient pas considérées comme du CSAM, en normalisant la sexualisation des enfants, Grok nuit aux mineurs, ont averti les défenseurs. Et en plus de trouver des images annoncées comme du CSAM supposément généré par Grok sur le dark web, l’Internet Watch Foundation a noté que les acteurs malveillants utilisent des images modifiées par Grok pour créer des types encore plus extrêmes de CSAM IA.
Grok fait face à des enquêtes aux États-Unis et au Royaume-Uni
Bonta a souligné que les reportages documentant les pires productions de Grok étaient le déclencheur de son enquête.
L’avalanche de rapports détaillant le matériel sexuellement explicite non consensuel que xAI a produit et publié en ligne ces dernières semaines est choquante, a déclaré Bonta. Ce matériel, qui représente des femmes et des enfants dans des situations nues et sexuellement explicites, a été utilisé pour harceler des gens sur Internet.
Agissant par profonde préoccupation pour les victimes et les cibles potentielles de Grok, Bonta a promis de déterminer si et comment xAI a violé la loi et d’utiliser tous les outils à ma disposition pour assurer la sécurité des résidents de Californie.
L’annonce de Bonta est intervenue après que le Royaume-Uni a semblé déclarer une victoire après avoir enquêté sur Grok pour d’éventuelles violations de la loi britannique sur la sécurité en ligne, annonçant que les productions nuisibles avaient cessé.
Ce n’était pas le cas, comme The Verge l’a une fois de plus souligné; il a effectué des tests rapides et faciles en utilisant des selfies de journalistes pour conclure que rien n’avait changé pour empêcher les productions.
Cependant, il semble que lorsque Musk a mis à jour Grok pour répondre à certaines demandes de déshabiller des images en refusant les invites, cela a suffi au Premier ministre britannique Keir Starmer pour affirmer que X s’était conformé à la loi, a rapporté Reuters.
Ars a contacté une association européenne à but non lucratif, AI Forensics, qui a testé pour confirmer que X avait bloqué certaines productions au Royaume-Uni. Un porte-parole a confirmé que leurs tests n’incluaient pas l’examen de la question de savoir si des productions nuisibles pouvaient être générées en utilisant le bouton de modification de X.
AI Forensics prévoit d’effectuer d’autres tests, mais son porte-parole a noté qu’il serait contraire à l’éthique de tester la fonctionnalité du bouton modifier que The Verge a confirmé fonctionner toujours.
L’année dernière, le Stanford Institute for Human-Centered Artificial Intelligence a publié une recherche montrant que le Congrès pourrait faire avancer la sécurité des modèles en permettant aux entreprises technologiques de tester rigoureusement leurs modèles génératifs sans crainte de poursuites pour tout test de résistance CSAM, a rapporté Tech Policy Press. Mais jusqu’à ce qu’un tel refuge soit créé, il semble plus probable que les outils d’IA nouvellement publiés puissent comporter des risques comme ceux de Grok.
Il est possible que les productions de Grok, si elles ne sont pas contrôlées, auraient pu éventuellement mettre X en violation de la Take It Down Act, qui entre en vigueur en mai et exige que les plateformes suppriment rapidement la pornographie de vengeance IA. L’une des mères de l’un des enfants de Musk, Ashley St. Clair, a décrit les productions de Grok utilisant ses images comme de la pornographie de vengeance.
Alors que l’enquête britannique se poursuit, Bonta n’a pas encore précisé quelles lois il soupçonne X de violer aux États-Unis. Cependant, il a souligné que les images représentant des victimes dans des vêtements minimaux franchissaient une ligne, ainsi que les images mettant des enfants dans des positions sexuelles.
Alors que l’enquête californienne s’intensifie, Bonta a poussé X à prendre plus de mesures pour restreindre les productions de Grok, ce qu’un chercheur en IA a suggéré à Ars pourrait être fait avec quelques mises à jour simples.
J’exhorte xAI à prendre des mesures immédiates pour garantir que cela n’aille pas plus loin, a déclaré Bonta. Nous avons une tolérance zéro pour la création et la diffusion basées sur l’IA d’images intimes non consensuelles ou de matériel d’abus sexuel sur enfants.
Semblant prendre la menace de Bonta au sérieux, X Safety a promis de rester engagé à faire de X une plateforme sûre pour tous et de continuer à avoir une tolérance zéro pour toutes les formes d’exploitation sexuelle d’enfants, de nudité non consensuelle et de contenu sexuel non désiré.
