Jeudi, Google a annoncé que des acteurs ayant une motivation commerciale ont tenté de cloner les connaissances de son chatbot IA Gemini en le sollicitant simplement. Une session d’attaque aurait sollicité le modèle plus de 100 000 fois dans diverses langues autres que l’anglais, en collectant les réponses apparemment pour entraîner une copie moins coûteuse.
Google a publié ces résultats dans ce qui équivaut à une auto-évaluation trimestrielle des menaces contre ses propres produits qui présente l’entreprise comme la victime et le héros, ce qui n’est pas inhabituel dans ces évaluations auto-rédigées. Google qualifie cette activité illicite d’extraction de modèle et la considère comme un vol de propriété intellectuelle, ce qui est une position quelque peu orientée, étant donné que le grand modèle de langage de Google a été construit à partir de matériaux récupérés sur Internet sans permission.
Google n’est pas non plus étranger à la pratique de la copie. En 2023, The Information a rapporté que l’équipe Bard de Google avait été accusée d’utiliser les sorties de ChatGPT provenant de ShareGPT, un site public où les utilisateurs partagent des conversations avec des chatbots, pour aider à entraîner son propre chatbot. Jacob Devlin, chercheur senior en IA chez Google qui a créé l’influent modèle de langage BERT, a averti la direction que cela violait les conditions d’utilisation d’OpenAI, puis a démissionné et rejoint OpenAI. Google a nié cette affirmation mais aurait cessé d’utiliser ces données.
Néanmoins, les conditions d’utilisation de Google interdisent aux gens d’extraire des données de ses modèles IA de cette manière, et le rapport offre une fenêtre sur le monde des tactiques de clonage de modèles IA quelque peu douteuses. L’entreprise pense que les coupables sont principalement des entreprises privées et des chercheurs cherchant un avantage concurrentiel, et a déclaré que les attaques provenaient du monde entier. Google a refusé de nommer des suspects.
L’affaire de la distillation
Typiquement, l’industrie appelle cette pratique d’entraînement d’un nouveau modèle sur les sorties d’un modèle précédent la distillation, et cela fonctionne ainsi : si vous voulez construire votre propre grand modèle de langage mais que vous manquez des milliards de dollars et des années de travail que Google a consacrés à l’entraînement de Gemini, vous pouvez utiliser un grand modèle de langage précédemment entraîné comme raccourci.
Pour ce faire, vous devez alimenter le modèle IA existant avec des milliers de sollicitations soigneusement choisies, collecter toutes les réponses, puis utiliser ces paires entrée-sortie pour entraîner un modèle plus petit et moins coûteux. Le résultat imitera étroitement le comportement de sortie du modèle parent mais sera généralement plus petit dans l’ensemble. Ce n’est pas parfait, mais cela peut être une technique d’entraînement beaucoup plus efficace que d’espérer construire un modèle utile sur des données Internet aléatoires qui incluent beaucoup de bruit.
Le modèle copieur ne voit jamais le code de Gemini ni ses données d’entraînement, mais en étudiant suffisamment ses sorties, il peut apprendre à reproduire bon nombre de ses capacités. Vous pouvez y penser comme à de l’ingénierie inverse des recettes d’un chef en commandant tous les plats du menu et en travaillant à rebours à partir du goût et de l’apparence seuls.
Dans le rapport publié par Google, son groupe de renseignement sur les menaces décrit une vague croissante de ces attaques de distillation contre Gemini. De nombreuses campagnes ciblaient spécifiquement les algorithmes qui aident le modèle à effectuer des tâches de raisonnement simulé ou à décider comment traiter l’information étape par étape.
Google a déclaré avoir identifié la campagne de 100 000 sollicitations et ajusté les défenses de Gemini, mais n’a pas détaillé ce que ces contre-mesures impliquent.
Un clone d’un clone
Google n’est pas la seule entreprise préoccupée par la distillation. OpenAI a accusé le rival chinois DeepSeek l’année dernière d’utiliser la distillation pour améliorer ses propres modèles, et la technique s’est depuis répandue dans l’industrie comme une norme pour construire des modèles IA plus petits et moins coûteux à partir de modèles plus grands.
La frontière entre distillation standard et vol dépend du modèle que vous distillez et si vous avez la permission, une distinction que les entreprises technologiques ont dépensé des milliards de dollars pour protéger mais qu’aucun tribunal n’a testée.
Les concurrents utilisent la distillation pour cloner les capacités des modèles de langage IA depuis au moins l’ère GPT-3, ChatGPT étant une cible populaire après son lancement.
En mars 2023, peu après que les poids du modèle LLaMA de Meta ont fuité en ligne, des chercheurs de l’université Stanford ont construit un modèle appelé Alpaca en affinant LLaMA sur 52 000 sorties générées par GPT-3.5 d’OpenAI. Le coût total était d’environ 600 dollars. Le résultat se comportait tellement comme ChatGPT qu’il a immédiatement soulevé des questions sur la possibilité de protéger les capacités d’un modèle IA une fois qu’il était accessible via une API.
Plus tard cette année-là, xAI d’Elon Musk a lancé son chatbot Grok, qui a rapidement cité la politique d’utilisation d’OpenAI lors du refus de certaines demandes. Un ingénieur de xAI a blâmé l’ingestion accidentelle de sorties de ChatGPT lors de la récupération de données web, mais la spécificité du comportement, jusqu’aux formulations de refus caractéristiques de ChatGPT et son habitude d’envelopper les réponses avec des résumés commençant par Dans l’ensemble, a laissé de nombreux membres de la communauté IA sceptiques.
Tant qu’un grand modèle de langage est accessible au public, aucune barrière technique infaillible n’empêche un acteur déterminé de faire la même chose au modèle de quelqu’un d’autre au fil du temps, bien que la limitation du débit aide, ce qui est exactement ce que Google dit être arrivé à Gemini.
La distillation se produit également au sein des entreprises, et elle est fréquemment utilisée pour créer des versions plus petites et plus rapides à exécuter de modèles IA plus anciens et plus grands. OpenAI a créé GPT-4o Mini comme distillation de GPT-4o, par exemple, et Microsoft a construit sa famille de modèles compacts Phi-3 en utilisant des données synthétiques soigneusement filtrées générées par des modèles plus grands.
DeepSeek a également officiellement publié six versions distillées de son modèle de raisonnement R1, dont la plus petite peut fonctionner sur un ordinateur portable.
