La start-up chinoise Moonshot a lancé un examen interne de deux de ses modèles d’intelligence artificielle, Kimi K2.6 et K3 Swarm. En cause : des chercheurs en sécurité sont parvenus à contourner leurs garde-fous et à obtenir des réponses sur la fabrication d’armes biologiques et la manière de commettre des assassinats.
La découverte remonte au mois de juillet. Elle est l’œuvre de Mindgard, une entreprise spécialisée dans l’évaluation de la sécurité des systèmes d’IA. Ses équipes ont eu recours au « jailbreak », une technique qui consiste à enchaîner des instructions élaborées pour pousser un modèle à ignorer les limites fixées par ses concepteurs. Selon Mindgard, les protections de Kimi auraient dû bloquer toute discussion sur ces sujets.
Un modèle « inventif » une fois débridé
Pour Peter Garraghan, fondateur de Mindgard, le résultat est préoccupant : une fois le verrou sauté, le modèle accepte d’aborder n’importe quel thème et va jusqu’à suggérer de lui-même d’autres pistes malveillantes. L’entreprise précise toutefois ne pas avoir vérifié si les instructions fournies seraient réellement efficaces. Elle estime aussi qu’un Kimi K2.6 détourné pourrait permettre à des pirates d’exécuter du code sur ses ressources de calcul et d’accéder à Internet, ce qui en ferait une base de départ possible pour des cyberattaques.
Côté calendrier, Mindgard dit avoir alerté Moonshot par courriel le 27 juillet, puis relancé une semaine plus tard, avant de publier un billet sur le sujet le 12 septembre, sans en dévoiler la méthode. D’après la société, Moonshot n’a réagi que récemment, après avoir été sollicitée par la presse. Le développeur chinois affirme de son côté que ses évaluations internes montraient un taux de refus élevé pour ce type de demandes, et dit accueillir les signalements extérieurs comme un pilier d’une IA plus sûre. Les deux entreprises sont désormais en discussion.
Le débat sur les modèles ouverts relancé
L’affaire tombe en plein débat sur les mérites respectifs des modèles fermés et des modèles ouverts. Kimi est un modèle à poids ouverts : n’importe qui peut en théorie le télécharger et le faire tourner sur ses propres serveurs, hors de tout contrôle de l’éditeur. Pour le professeur Alan Woodward, de l’université du Surrey, ces modèles peuvent tomber entre de mauvaises mains, mais aussi servir la cyberdéfense. Sceptique sur la capacité d’une régulation internationale à suivre le rythme de l’IA, il plaide, comme Peter Garraghan, pour concentrer les efforts sur l’identification et la poursuite des personnes qui détournent ces outils.
Le sujet dépasse la Chine : Anthropic a récemment indiqué avoir repéré et stoppé des tentatives d’utiliser l’un de ses modèles pour des activités pouvant soutenir le développement d’armes biologiques.
Image : National Institute of Allergy and Infectious Diseases, Public domain, via Wikimedia Commons
