Une chercheuse d’OpenAI démissionne à cause des publicités sur ChatGPT, met en garde contre une trajectoire à la Facebook
Mercredi, l’ancienne chercheuse d’OpenAI Zoë Hitzig a publié un essai dans le New York Times annonçant qu’elle avait démissionné de l’entreprise lundi, le jour même où OpenAI a commencé à tester des publicités dans ChatGPT. Hitzig, économiste et poétesse publiée qui détient une bourse junior à la Harvard Society of Fellows, a passé deux ans chez OpenAI à contribuer à façonner la manière dont ses modèles d’IA étaient construits et tarifés. Elle a écrit que la stratégie publicitaire d’OpenAI risque de répéter les mêmes erreurs que Facebook a commises il y a une décennie.
J’ai cru autrefois que je pouvais aider les créateurs d’IA à anticiper les problèmes qu’elle créerait, a écrit Hitzig. Cette semaine a confirmé ma lente prise de conscience qu’OpenAI semble avoir cessé de se poser les questions auxquelles j’avais adhéré pour aider à répondre.
Hitzig n’a pas qualifié la publicité elle-même d’immorale. Au lieu de cela, elle a fait valoir que la nature des données en jeu rend les publicités ChatGPT particulièrement risquées. Les utilisateurs ont partagé des peurs médicales, des problèmes relationnels et des croyances religieuses avec le chatbot, a-t-elle écrit, souvent parce que les gens croyaient qu’ils parlaient à quelque chose qui n’avait aucun agenda caché. Elle a qualifié cette accumulation de divulgations personnelles d’archive de la franchise humaine sans précédent.
Elle a également établi un parallèle direct avec les débuts de Facebook, notant que l’entreprise de médias sociaux avait autrefois promis aux utilisateurs le contrôle de leurs données et la possibilité de voter sur les changements de politique. Ces engagements se sont érodés avec le temps, a écrit Hitzig, et la Federal Trade Commission a constaté que les changements de confidentialité que Facebook commercialisait comme donnant plus de contrôle aux utilisateurs faisaient en réalité le contraire.
Elle a averti qu’une trajectoire similaire pourrait se produire avec ChatGPT : Je crois que la première itération des publicités suivra probablement ces principes. Mais je crains que les itérations ultérieures ne le fassent pas, car l’entreprise construit un moteur économique qui crée de fortes incitations à contourner ses propres règles.
Les publicités arrivent après une semaine de joutes dans l’industrie de l’IA
La démission de Hitzig ajoute une autre voix à un débat croissant sur la publicité dans les chatbots d’IA. OpenAI a annoncé en janvier qu’elle commencerait à tester des publicités aux États-Unis pour les utilisateurs de ses niveaux d’abonnement gratuits et à 8 dollars par mois, tandis que les abonnés payants Plus, Pro, Business, Enterprise et Education ne verraient pas de publicités. L’entreprise a déclaré que les publicités apparaîtraient en bas des réponses de ChatGPT, seraient clairement étiquetées et n’influenceraient pas les réponses du chatbot.
Le déploiement dimanche a suivi une semaine de piques publiques entre OpenAI et son rival, Anthropic. Anthropic a déclaré que Claude resterait sans publicité, puis a diffusé des publicités pendant le Super Bowl avec le slogan Les publicités arrivent sur l’IA. Mais pas sur Claude, qui dépeignait des chatbots d’IA insérant maladroitement des placements de produits dans des conversations personnelles.
Le PDG d’OpenAI, Sam Altman, a qualifié ces publicités d’amusantes mais clairement malhonnêtes, écrivant sur X qu’OpenAI ne diffuserait manifestement jamais de publicités de la manière dont Anthropic les dépeint. Il a présenté le modèle financé par la publicité comme un moyen de rendre l’IA accessible aux utilisateurs qui ne peuvent pas se permettre des abonnements, écrivant qu’Anthropic propose un produit coûteux aux gens riches.
Anthropic a répondu dans le cadre de sa propre campagne publicitaire que l’inclusion de publicités dans les conversations avec son chatbot Claude serait incompatible avec ce que nous voulons que Claude soit : un assistant véritablement utile pour le travail et la réflexion approfondie. L’entreprise a déclaré que plus de 80 pour cent de ses revenus proviennent de clients d’entreprise.
Ce que Hitzig a vu de l’intérieur
Indépendamment du débat sur la question de savoir si les chatbots d’IA devraient diffuser des publicités, la documentation d’assistance d’OpenAI révèle que la personnalisation des publicités est activée par défaut pour les utilisateurs du test. Si elle est laissée activée, les publicités seront sélectionnées en utilisant des informations provenant des fils de discussion actuels et passés, ainsi que des interactions publicitaires passées. Les annonceurs ne reçoivent pas les discussions ou les détails personnels des utilisateurs, selon OpenAI, et les publicités n’apparaîtront pas à proximité de conversations sur la santé, la santé mentale ou la politique.
Dans son essai, Hitzig a souligné ce qu’elle a appelé une tension existante dans les principes d’OpenAI. Elle a noté que bien que l’entreprise déclare ne pas optimiser l’activité des utilisateurs uniquement pour générer des revenus publicitaires, des reportages ont suggéré qu’OpenAI optimise déjà pour les utilisateurs actifs quotidiens, probablement en encourageant le modèle à être plus flatteur et sycophante.
Elle a averti que cette optimisation peut rendre les utilisateurs plus dépendants des modèles d’IA pour obtenir du soutien, citant des psychiatres qui ont documenté des cas de psychose liée aux chatbots et des allégations selon lesquelles ChatGPT a renforcé des idées suicidaires.
OpenAI fait actuellement face à plusieurs procès pour mort injustifiée, dont l’un allègue que ChatGPT a aidé un adolescent à planifier son suicide et un autre alléguant qu’il a validé les délires paranoïaques d’un homme à propos de sa mère avant un meurtre-suicide.
Plutôt que de présenter le débat comme publicités contre pas de publicités, Hitzig a proposé plusieurs alternatives structurelles. Il s’agit notamment de subventions croisées inspirées du fonds de service universel de la FCC, dans lequel les entreprises qui paient pour un travail d’IA de haute valeur subventionneraient l’accès gratuit pour d’autres, de conseils de surveillance indépendants ayant une autorité contraignante sur la manière dont les données conversationnelles sont utilisées dans le ciblage publicitaire, et de fiducies de données ou de coopératives dans lesquelles les utilisateurs conservent le contrôle de leurs informations. Elle a souligné la coopérative suisse MIDATA et les lois allemandes de codétermination comme précédents partiels.
Hitzig a terminé son essai par ce qu’elle a décrit comme les deux résultats qu’elle craint le plus : une technologie qui manipule les gens qui l’utilisent gratuitement, et une qui profite exclusivement aux quelques-uns qui peuvent se permettre de l’utiliser.
Un changement de saison dans l’IA
Hitzig n’a pas été la seule chercheuse éminente en IA à démissionner publiquement cette semaine. Dimanche, Mrinank Sharma, qui dirigeait l’équipe de recherche sur les protections d’Anthropic et a coécrit une étude largement citée de 2023 sur la sycophantie de l’IA, a annoncé son départ dans une lettre avertissant que le monde est en péril. Il a écrit qu’il avait vu à plusieurs reprises à quel point il est difficile de vraiment laisser nos valeurs gouverner nos actions au sein de l’organisation et a déclaré qu’il prévoyait de poursuivre un diplôme en poésie. Hitzig est également une poétesse publiée.
Lundi, le cofondateur de xAI Yuhuai Tony Wu a également démissionné, suivi le lendemain par son collègue cofondateur Jimmy Ba. Ils faisaient partie d’une vague plus large : au moins neuf employés de xAI, dont les deux cofondateurs, ont annoncé publiquement leur départ au cours de la semaine dernière, selon TechCrunch. Six des 12 cofondateurs originaux de l’entreprise sont maintenant partis.
Les départs font suite à la décision d’Elon Musk de fusionner xAI avec SpaceX dans une transaction entièrement en actions avant une introduction en bourse prévue, une transaction qui a converti les actions de xAI en actions d’une entreprise valorisée à 1,25 billion de dollars, bien qu’il ne soit pas clair si le moment des départs est lié aux calendriers d’acquisition.
Les trois séries de départs chez OpenAI, Anthropic et xAI semblent sans rapport dans leurs spécificités, mais ils arrivent pendant une période de commercialisation rapide dans toute l’industrie de l’IA qui a mis à l’épreuve la patience des chercheurs dans plusieurs entreprises, et ils correspondent à un schéma plus large de roulement et d’épuisement professionnel qui est devenu courant dans les grands laboratoires d’IA.
