Des applications comme Grok sont explicitement interdites selon les règles de Google. Pourquoi est-elle toujours dans le Play Store?
La société xAI d’Elon Musk a récemment affaibli les garde-fous de contenu pour la génération d’images dans le robot d’IA Grok. Cela a conduit à une nouvelle vague d’images sexuelles non consensuelles sur X, dont une grande partie visait à faire taire les femmes sur la plateforme. Cela, ainsi que la création d’images sexualisées d’enfants dans le Grok plus accommodant, a poussé les régulateurs à commencer à enquêter sur xAI. En attendant, Google a mis en place des règles exactement pour cette éventualité, mais ne les applique tout simplement pas.
Les politiques publiquement disponibles de Google ne pourraient pas être plus claires : Grok aurait dû être banni hier. Et pourtant, l’application reste dans le Play Store. Non seulement cela, mais elle bénéficie d’une classification T pour Adolescents, un cran en dessous de l’application X classée M. Apple propose également toujours l’application Grok sur sa plateforme, mais ses règles laissent en réalité plus de marge de manœuvre.
Les restrictions de contenu des applications chez Apple et Google ont évolué de manière très différente. Dès le départ, Apple a eu tendance à supprimer des applications sur un coup de tête, si bien que les développeurs en sont venus à s’attendre à ce que les directives d’Apple ne mentionnent pas toutes les éventualités possibles. Alors que Google est passé d’une attitude de laisser-faire à un contrôle plus strict du Play Store, l’entreprise a progressivement ajouté des clarifications dans sa politique de contenu. En conséquence, les règles de Google sont énoncées sans équivoque, et Grok les enfreint.
Google dispose d’une page d’assistance dédiée qui explique comment interpréter sa politique de « Contenu inapproprié » pour le Play Store. Comme Apple, les règles commencent par une interdiction des applications qui contiennent ou promeuvent du contenu sexuel, y compris, mais sans s’y limiter, la pornographie. C’est là qu’Apple s’arrête, mais Google continue en énumérant d’autres types de contenu et d’expériences qu’il considère comme contraires aux règles.
« Nous n’autorisons pas les applications qui contiennent ou promeuvent du contenu associé à un comportement sexuel prédateur, ou distribuent du contenu sexuel non consensuel », indique la politique du Play Store. Ainsi, la politique vise des applications comme Grok, mais cette ligne à elle seule pourrait être interprétée comme se concentrant sur les applications présentant du contenu sexuel « réel ». Cependant, Google est très minutieux et a utilement expliqué que cette règle couvre l’IA.
La politique détaillée inclut des exemples de contenu qui violent cette règle, qui incluent une grande partie de ce à quoi on pourrait s’attendre : rien d’obscène ou de profane, pas de services d’escorte et pas de thèmes sexuels illégaux. Après une vague d’applications rudimentaires de « déshabillage » en 2020 et 2021, Google a ajouté un libellé à cette page précisant que « les applications qui prétendent déshabiller les gens » ne sont pas autorisées dans Google Play. En 2023, alors que le boom de l’IA se mettait en marche, Google a ajouté une autre ligne pour noter qu’il supprimerait également les applications contenant « du contenu sexuel non consensuel créé via deepfake ou une technologie similaire ».
Cela vous rappelle des applications que vous connaissez?
L’archétype d’une application interdite, approuvée pour les adolescents
Prises ensemble, les descriptions de Google des applications interdites décrivent l’application Grok à la perfection. Google a fait ces ajouts au fur et à mesure que de nouvelles menaces sont devenues apparentes, sachant que les développeurs essaieraient de publier des applications de déshabillage par IA dans le Play Store. L’entreprise n’a apparemment pas pensé que l’homme le plus riche du monde serait celui qui pousserait des outils d’humiliation numérique sur sa plateforme. Et la réponse de Google à cette situation jusqu’à présent a été de ne rien faire.
La réaction négative aux restrictions assouplies de xAI a poussé l’entreprise à limiter légèrement l’accès à l’édition d’images. Vous ne pouvez plus éditer d’images sur X sans payer un abonnement premium. Cependant, l’application Grok n’a pas cette limitation. Toute personne qui télécharge Grok peut l’utiliser pour créer du contenu sexuel non consensuel.
Puisque l’application est autorisée pour les adolescents, même les appareils avec des contrôles parentaux activés permettront aux jeunes de 13 à 17 ans de télécharger Grok. Il n’y a pas de paywall, et vous n’avez même pas besoin de vous connecter avant d’éditer votre première image. L’application demande à l’utilisateur de confirmer son année de naissance, mais les adolescents ne mentiraient jamais à ce sujet, n’est-ce pas?
Ce n’est pas le premier problème de xAI avec le contenu sexuel non consensuel. L’année dernière, l’IA a été largement utilisée pour créer de faux nus de Taylor Swift. Cependant, dans ce cas, les utilisateurs ne faisaient que soumettre le nom de la chanteuse au robot. Grok peut créer des images entièrement nouvelles de personnes célèbres parce que les données d’entraînement incluent de vraies images d’elles. La nouvelle capacité de Grok à « éditer » des images de personnes est une fonctionnalité différente et plus insidieuse car elle peut transformer n’importe qui en jouet d’IA.
Ars a contacté Google pour demander pourquoi Grok n’a pas été supprimé et pourquoi il a conservé une classification Adolescents. L’entreprise a refusé de faire une déclaration pour le moment. Nous nous retrouvons donc avec une politique qui interdit explicitement les applications comme Grok, mais Google ne prend aucune mesure pour faire appliquer ces politiques, permettant aux adolescents influençables et aux individus louches de l’utiliser pour sexualiser des personnes réelles.
