Google retire certains résumés de santé générés par IA après qu’une enquête révèle des failles dangereuses
Dimanche, Google a retiré certains de ses résumés de santé générés par IA Overviews après qu’une enquête du Guardian a révélé que des personnes étaient mises en danger par des informations fausses et trompeuses. Ces retraits sont intervenus après que le journal a constaté que la fonctionnalité d’IA générative de Google fournissait des informations de santé inexactes en haut des résultats de recherche, conduisant potentiellement des patients gravement malades à conclure à tort qu’ils sont en bonne santé.
Google a désactivé des requêtes spécifiques, telles que « quelle est la plage normale pour les analyses sanguines du foie », après que des experts contactés par le Guardian ont signalé les résultats comme dangereux. Le rapport a également mis en évidence une erreur critique concernant le cancer du pancréas : l’IA suggérait aux patients d’éviter les aliments riches en graisses, une recommandation qui contredit les directives médicales standard visant à maintenir le poids et pourrait compromettre la santé des patients. Malgré ces conclusions, Google n’a désactivé les résumés que pour les requêtes concernant les tests hépatiques, laissant d’autres réponses potentiellement dangereuses accessibles.
L’enquête a révélé que la recherche de normes de tests hépatiques générait des tableaux de données brutes (énumérant des enzymes spécifiques comme ALT, AST et phosphatase alcaline) qui manquaient de contexte essentiel. La fonctionnalité d’IA n’a également pas ajusté ces chiffres en fonction des données démographiques des patients telles que l’âge, le sexe et l’origine ethnique. Les experts ont averti qu’étant donné que la définition de « normal » par le modèle d’IA différait souvent des normes médicales réelles, les patients souffrant de graves maladies du foie pourraient croire à tort qu’ils sont en bonne santé et négliger les soins de suivi nécessaires.
Vanessa Hebditch, directrice de la communication et des politiques au British Liver Trust, a déclaré au Guardian qu’un test de fonction hépatique est un ensemble de différents tests sanguins et que la compréhension des résultats « est complexe et implique bien plus que la comparaison d’une série de chiffres ». Elle a ajouté que les AI Overviews ne parviennent pas à avertir qu’une personne peut obtenir des résultats normaux pour ces tests alors qu’elle souffre d’une grave maladie du foie et nécessite des soins médicaux supplémentaires. « Cette fausse assurance pourrait être très néfaste », a-t-elle déclaré.
Google a refusé de commenter les retraits spécifiques auprès du Guardian. Un porte-parole de l’entreprise a déclaré au Verge que Google investit dans la qualité des AI Overviews, en particulier pour les sujets de santé, et que « la grande majorité fournit des informations exactes ». Le porte-parole a ajouté que l’équipe interne de cliniciens de l’entreprise a examiné ce qui a été partagé et « a constaté que dans de nombreux cas, les informations n’étaient pas inexactes et étaient également soutenues par des sites web de haute qualité ».
Pourquoi AI Overviews produit des erreurs
Les problèmes récurrents avec AI Overviews découlent d’un défaut de conception dans le fonctionnement du système. Comme nous l’avons rapporté en mai 2024, Google a conçu AI Overviews pour afficher des informations soutenues par les meilleurs résultats web de son système de classement de pages. L’entreprise a conçu la fonctionnalité de cette manière en partant du principe que les pages hautement classées contiennent des informations exactes.
Cependant, l’algorithme de classement de pages de Google a longtemps eu du mal avec le contenu manipulé par SEO et le spam. Le système alimente maintenant ces résultats peu fiables à son modèle d’IA, qui les résume ensuite avec un ton autoritaire qui peut induire les utilisateurs en erreur. Même lorsque l’IA s’appuie sur des sources exactes, le modèle de langage peut encore tirer des conclusions incorrectes des données, produisant des résumés défectueux d’informations par ailleurs fiables.
La technologie ne fournit pas intrinsèquement une exactitude factuelle. Au lieu de cela, elle reflète toutes les inexactitudes qui existent sur les sites web que l’algorithme de Google classe hautement, présentant les faits avec une autorité qui fait paraître les erreurs dignes de confiance.
D’autres exemples restent actifs
Le Guardian a constaté que la saisie de légères variations des requêtes originales dans Google, telles que « lft reference range » ou « lft test reference range », déclenchait toujours les AI Overviews. Hebditch a déclaré que c’était une grande préoccupation et que les AI Overviews présentent une liste de tests en gras, ce qui rend très facile pour les lecteurs de manquer le fait que ces chiffres pourraient même ne pas être les bons pour leur test.
Les AI Overviews apparaissent toujours pour d’autres exemples que le Guardian avait initialement signalés à Google. Lorsqu’on lui a demandé pourquoi ces AI Overviews n’avaient pas également été supprimés, Google a déclaré qu’ils renvoyaient vers des sources connues et réputées et informaient les gens lorsqu’il était important de demander des conseils d’experts.
Google a déclaré que les AI Overviews n’apparaissent que pour les requêtes pour lesquelles il a une grande confiance dans la qualité des réponses. L’entreprise mesure et examine constamment la qualité de ses résumés dans de nombreuses catégories différentes d’informations, a-t-elle ajouté.
Ce n’est pas la première controverse pour AI Overviews. La fonctionnalité a précédemment conseillé aux gens de mettre de la colle sur la pizza et de manger des pierres. Elle s’est révélée suffisamment impopulaire pour que les utilisateurs aient découvert que l’insertion de gros mots dans les requêtes de recherche désactive entièrement les AI Overviews.
