Jeudi, Google a annonc\u00e9 que des acteurs ayant une motivation commerciale ont tent\u00e9 de cloner les connaissances de son chatbot IA Gemini en le sollicitant simplement. Une session d’attaque aurait sollicit\u00e9 le mod\u00e8le plus de 100 000 fois dans diverses langues autres que l’anglais, en collectant les r\u00e9ponses apparemment pour entra\u00eener une copie moins co\u00fbteuse.<\/p>\n
Google a publi\u00e9 ces r\u00e9sultats dans ce qui \u00e9quivaut \u00e0 une auto-\u00e9valuation trimestrielle des menaces contre ses propres produits qui pr\u00e9sente l’entreprise comme la victime et le h\u00e9ros, ce qui n’est pas inhabituel dans ces \u00e9valuations auto-r\u00e9dig\u00e9es. Google qualifie cette activit\u00e9 illicite d’extraction de mod\u00e8le et la consid\u00e8re comme un vol de propri\u00e9t\u00e9 intellectuelle, ce qui est une position quelque peu orient\u00e9e, \u00e9tant donn\u00e9 que le grand mod\u00e8le de langage de Google a \u00e9t\u00e9 construit \u00e0 partir de mat\u00e9riaux r\u00e9cup\u00e9r\u00e9s sur Internet sans permission.<\/p>\n
Google n’est pas non plus \u00e9tranger \u00e0 la pratique de la copie. En 2023, The Information a rapport\u00e9 que l’\u00e9quipe Bard de Google avait \u00e9t\u00e9 accus\u00e9e d’utiliser les sorties de ChatGPT provenant de ShareGPT, un site public o\u00f9 les utilisateurs partagent des conversations avec des chatbots, pour aider \u00e0 entra\u00eener son propre chatbot. Jacob Devlin, chercheur senior en IA chez Google qui a cr\u00e9\u00e9 l’influent mod\u00e8le de langage BERT, a averti la direction que cela violait les conditions d’utilisation d’OpenAI, puis a d\u00e9missionn\u00e9 et rejoint OpenAI. Google a ni\u00e9 cette affirmation mais aurait cess\u00e9 d’utiliser ces donn\u00e9es.<\/p>\n
N\u00e9anmoins, les conditions d’utilisation de Google interdisent aux gens d’extraire des donn\u00e9es de ses mod\u00e8les IA de cette mani\u00e8re, et le rapport offre une fen\u00eatre sur le monde des tactiques de clonage de mod\u00e8les IA quelque peu douteuses. L’entreprise pense que les coupables sont principalement des entreprises priv\u00e9es et des chercheurs cherchant un avantage concurrentiel, et a d\u00e9clar\u00e9 que les attaques provenaient du monde entier. Google a refus\u00e9 de nommer des suspects.<\/p>\n
L’affaire de la distillation<\/p>\n
Typiquement, l’industrie appelle cette pratique d’entra\u00eenement d’un nouveau mod\u00e8le sur les sorties d’un mod\u00e8le pr\u00e9c\u00e9dent la distillation, et cela fonctionne ainsi : si vous voulez construire votre propre grand mod\u00e8le de langage mais que vous manquez des milliards de dollars et des ann\u00e9es de travail que Google a consacr\u00e9s \u00e0 l’entra\u00eenement de Gemini, vous pouvez utiliser un grand mod\u00e8le de langage pr\u00e9c\u00e9demment entra\u00een\u00e9 comme raccourci.<\/p>\n
Pour ce faire, vous devez alimenter le mod\u00e8le IA existant avec des milliers de sollicitations soigneusement choisies, collecter toutes les r\u00e9ponses, puis utiliser ces paires entr\u00e9e-sortie pour entra\u00eener un mod\u00e8le plus petit et moins co\u00fbteux. Le r\u00e9sultat imitera \u00e9troitement le comportement de sortie du mod\u00e8le parent mais sera g\u00e9n\u00e9ralement plus petit dans l’ensemble. Ce n’est pas parfait, mais cela peut \u00eatre une technique d’entra\u00eenement beaucoup plus efficace que d’esp\u00e9rer construire un mod\u00e8le utile sur des donn\u00e9es Internet al\u00e9atoires qui incluent beaucoup de bruit.<\/p>\n
Le mod\u00e8le copieur ne voit jamais le code de Gemini ni ses donn\u00e9es d’entra\u00eenement, mais en \u00e9tudiant suffisamment ses sorties, il peut apprendre \u00e0 reproduire bon nombre de ses capacit\u00e9s. Vous pouvez y penser comme \u00e0 de l’ing\u00e9nierie inverse des recettes d’un chef en commandant tous les plats du menu et en travaillant \u00e0 rebours \u00e0 partir du go\u00fbt et de l’apparence seuls.<\/p>\n
Dans le rapport publi\u00e9 par Google, son groupe de renseignement sur les menaces d\u00e9crit une vague croissante de ces attaques de distillation contre Gemini. De nombreuses campagnes ciblaient sp\u00e9cifiquement les algorithmes qui aident le mod\u00e8le \u00e0 effectuer des t\u00e2ches de raisonnement simul\u00e9 ou \u00e0 d\u00e9cider comment traiter l’information \u00e9tape par \u00e9tape.<\/p>\n
Google a d\u00e9clar\u00e9 avoir identifi\u00e9 la campagne de 100 000 sollicitations et ajust\u00e9 les d\u00e9fenses de Gemini, mais n’a pas d\u00e9taill\u00e9 ce que ces contre-mesures impliquent.<\/p>\n
Un clone d’un clone<\/p>\n
Google n’est pas la seule entreprise pr\u00e9occup\u00e9e par la distillation. OpenAI a accus\u00e9 le rival chinois DeepSeek l’ann\u00e9e derni\u00e8re d’utiliser la distillation pour am\u00e9liorer ses propres mod\u00e8les, et la technique s’est depuis r\u00e9pandue dans l’industrie comme une norme pour construire des mod\u00e8les IA plus petits et moins co\u00fbteux \u00e0 partir de mod\u00e8les plus grands.<\/p>\n
La fronti\u00e8re entre distillation standard et vol d\u00e9pend du mod\u00e8le que vous distillez et si vous avez la permission, une distinction que les entreprises technologiques ont d\u00e9pens\u00e9 des milliards de dollars pour prot\u00e9ger mais qu’aucun tribunal n’a test\u00e9e.<\/p>\n
Les concurrents utilisent la distillation pour cloner les capacit\u00e9s des mod\u00e8les de langage IA depuis au moins l’\u00e8re GPT-3, ChatGPT \u00e9tant une cible populaire apr\u00e8s son lancement.<\/p>\n
En mars 2023, peu apr\u00e8s que les poids du mod\u00e8le LLaMA de Meta ont fuit\u00e9 en ligne, des chercheurs de l’universit\u00e9 Stanford ont construit un mod\u00e8le appel\u00e9 Alpaca en affinant LLaMA sur 52 000 sorties g\u00e9n\u00e9r\u00e9es par GPT-3.5 d’OpenAI. Le co\u00fbt total \u00e9tait d’environ 600 dollars. Le r\u00e9sultat se comportait tellement comme ChatGPT qu’il a imm\u00e9diatement soulev\u00e9 des questions sur la possibilit\u00e9 de prot\u00e9ger les capacit\u00e9s d’un mod\u00e8le IA une fois qu’il \u00e9tait accessible via une API.<\/p>\n
Plus tard cette ann\u00e9e-l\u00e0, xAI d’Elon Musk a lanc\u00e9 son chatbot Grok, qui a rapidement cit\u00e9 la politique d’utilisation d’OpenAI lors du refus de certaines demandes. Un ing\u00e9nieur de xAI a bl\u00e2m\u00e9 l’ingestion accidentelle de sorties de ChatGPT lors de la r\u00e9cup\u00e9ration de donn\u00e9es web, mais la sp\u00e9cificit\u00e9 du comportement, jusqu’aux formulations de refus caract\u00e9ristiques de ChatGPT et son habitude d’envelopper les r\u00e9ponses avec des r\u00e9sum\u00e9s commen\u00e7ant par Dans l’ensemble, a laiss\u00e9 de nombreux membres de la communaut\u00e9 IA sceptiques.<\/p>\n
Tant qu’un grand mod\u00e8le de langage est accessible au public, aucune barri\u00e8re technique infaillible n’emp\u00eache un acteur d\u00e9termin\u00e9 de faire la m\u00eame chose au mod\u00e8le de quelqu’un d’autre au fil du temps, bien que la limitation du d\u00e9bit aide, ce qui est exactement ce que Google dit \u00eatre arriv\u00e9 \u00e0 Gemini.<\/p>\n
La distillation se produit \u00e9galement au sein des entreprises, et elle est fr\u00e9quemment utilis\u00e9e pour cr\u00e9er des versions plus petites et plus rapides \u00e0 ex\u00e9cuter de mod\u00e8les IA plus anciens et plus grands. OpenAI a cr\u00e9\u00e9 GPT-4o Mini comme distillation de GPT-4o, par exemple, et Microsoft a construit sa famille de mod\u00e8les compacts Phi-3 en utilisant des donn\u00e9es synth\u00e9tiques soigneusement filtr\u00e9es g\u00e9n\u00e9r\u00e9es par des mod\u00e8les plus grands.<\/p>\n
DeepSeek a \u00e9galement officiellement publi\u00e9 six versions distill\u00e9es de son mod\u00e8le de raisonnement R1, dont la plus petite peut fonctionner sur un ordinateur portable.<\/p>\n","protected":false},"excerpt":{"rendered":"
Jeudi, Google a annonc\u00e9 que des acteurs ayant une motivation commerciale ont tent\u00e9 de cloner les connaissances de son chatbot IA Gemini en le sollicitant simplement. Une session d’attaque aurait sollicit\u00e9 le mod\u00e8le plus de 100 000 fois dans diverses langues autres que l’anglais, en collectant les r\u00e9ponses apparemment pour entra\u00eener une copie moins co\u00fbteuse.<\/p>\n","protected":false},"author":3,"featured_media":567,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[62,61],"tags":[],"class_list":["post-566","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-artificielle","category-intelligence"],"_links":{"self":[{"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/posts\/566","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/comments?post=566"}],"version-history":[{"count":0,"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/posts\/566\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/media\/567"}],"wp:attachment":[{"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/media?parent=566"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/categories?post=566"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/tags?post=566"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}