La start-up chinoise Moonshot a lanc\u00e9 un examen interne de deux de ses mod\u00e8les d’intelligence artificielle, Kimi K2.6 et K3 Swarm. En cause : des chercheurs en s\u00e9curit\u00e9 sont parvenus \u00e0 contourner leurs garde-fous et \u00e0 obtenir des r\u00e9ponses sur la fabrication d’armes biologiques et la mani\u00e8re de commettre des assassinats.<\/p>\n
La d\u00e9couverte remonte au mois de juillet. Elle est l’\u0153uvre de Mindgard, une entreprise sp\u00e9cialis\u00e9e dans l’\u00e9valuation de la s\u00e9curit\u00e9 des syst\u00e8mes d’IA. Ses \u00e9quipes ont eu recours au \u00ab jailbreak \u00bb, une technique qui consiste \u00e0 encha\u00eener des instructions \u00e9labor\u00e9es pour pousser un mod\u00e8le \u00e0 ignorer les limites fix\u00e9es par ses concepteurs. Selon Mindgard, les protections de Kimi auraient d\u00fb bloquer toute discussion sur ces sujets.<\/p>\n
Pour Peter Garraghan, fondateur de Mindgard, le r\u00e9sultat est pr\u00e9occupant : une fois le verrou saut\u00e9, le mod\u00e8le accepte d’aborder n’importe quel th\u00e8me et va jusqu’\u00e0 sugg\u00e9rer de lui-m\u00eame d’autres pistes malveillantes. L’entreprise pr\u00e9cise toutefois ne pas avoir v\u00e9rifi\u00e9 si les instructions fournies seraient r\u00e9ellement efficaces. Elle estime aussi qu’un Kimi K2.6 d\u00e9tourn\u00e9 pourrait permettre \u00e0 des pirates d’ex\u00e9cuter du code sur ses ressources de calcul et d’acc\u00e9der \u00e0 Internet, ce qui en ferait une base de d\u00e9part possible pour des cyberattaques.<\/p>\n
C\u00f4t\u00e9 calendrier, Mindgard dit avoir alert\u00e9 Moonshot par courriel le 27 juillet, puis relanc\u00e9 une semaine plus tard, avant de publier un billet sur le sujet le 12 septembre, sans en d\u00e9voiler la m\u00e9thode. D’apr\u00e8s la soci\u00e9t\u00e9, Moonshot n’a r\u00e9agi que r\u00e9cemment, apr\u00e8s avoir \u00e9t\u00e9 sollicit\u00e9e par la presse. Le d\u00e9veloppeur chinois affirme de son c\u00f4t\u00e9 que ses \u00e9valuations internes montraient un taux de refus \u00e9lev\u00e9 pour ce type de demandes, et dit accueillir les signalements ext\u00e9rieurs comme un pilier d’une IA plus s\u00fbre. Les deux entreprises sont d\u00e9sormais en discussion.<\/p>\n
L’affaire tombe en plein d\u00e9bat sur les m\u00e9rites respectifs des mod\u00e8les ferm\u00e9s et des mod\u00e8les ouverts. Kimi est un mod\u00e8le \u00e0 poids ouverts : n’importe qui peut en th\u00e9orie le t\u00e9l\u00e9charger et le faire tourner sur ses propres serveurs, hors de tout contr\u00f4le de l’\u00e9diteur. Pour le professeur Alan Woodward, de l’universit\u00e9 du Surrey, ces mod\u00e8les peuvent tomber entre de mauvaises mains, mais aussi servir la cyberd\u00e9fense. Sceptique sur la capacit\u00e9 d’une r\u00e9gulation internationale \u00e0 suivre le rythme de l’IA, il plaide, comme Peter Garraghan, pour concentrer les efforts sur l’identification et la poursuite des personnes qui d\u00e9tournent ces outils.<\/p>\n
Le sujet d\u00e9passe la Chine : Anthropic a r\u00e9cemment indiqu\u00e9 avoir rep\u00e9r\u00e9 et stopp\u00e9 des tentatives d’utiliser l’un de ses mod\u00e8les pour des activit\u00e9s pouvant soutenir le d\u00e9veloppement d’armes biologiques.<\/p>\n
<\/p>\n