Google a d\u00e9velopp\u00e9 TurboQuant, un algorithme de compression par intelligence artificielle qui peut r\u00e9duire l’utilisation de la m\u00e9moire des mod\u00e8les de langage de grande taille jusqu’\u00e0 six fois<\/p>\n
Google a d\u00e9velopp\u00e9 un nouvel algorithme de compression appel\u00e9 TurboQuant qui peut r\u00e9duire consid\u00e9rablement les besoins en m\u00e9moire des grands mod\u00e8les de langage. Selon les recherches publi\u00e9es, TurboQuant peut compresser les mod\u00e8les jusqu’\u00e0 six fois tout en maintenant leur pr\u00e9cision.<\/p>\n
Les grands mod\u00e8les de langage comme GPT-4 et Gemini n\u00e9cessitent d’\u00e9normes quantit\u00e9s de m\u00e9moire pour fonctionner. Cette consommation de m\u00e9moire importante rend difficile et co\u00fbteux le d\u00e9ploiement de ces mod\u00e8les sur des appareils \u00e0 ressources limit\u00e9es ou leur utilisation dans des applications \u00e0 grande \u00e9chelle.<\/p>\n
TurboQuant s’attaque \u00e0 ce probl\u00e8me en utilisant une technique appel\u00e9e quantification, qui r\u00e9duit la pr\u00e9cision des nombres utilis\u00e9s pour repr\u00e9senter les param\u00e8tres du mod\u00e8le. Au lieu de stocker chaque param\u00e8tre sous forme de nombre \u00e0 virgule flottante de 16 bits, TurboQuant peut les repr\u00e9senter avec seulement 2 \u00e0 4 bits par param\u00e8tre.<\/p>\n
Ce qui distingue TurboQuant des m\u00e9thodes de quantification pr\u00e9c\u00e9dentes, c’est sa vitesse et son efficacit\u00e9. L’algorithme peut compresser des mod\u00e8les contenant des centaines de milliards de param\u00e8tres en quelques heures seulement, contre plusieurs jours pour les approches traditionnelles.<\/p>\n
Les chercheurs ont test\u00e9 TurboQuant sur plusieurs mod\u00e8les de langage populaires, notamment Llama et Gemma. Dans tous les cas, l’algorithme a r\u00e9ussi \u00e0 r\u00e9duire consid\u00e9rablement l’utilisation de la m\u00e9moire tout en pr\u00e9servant les performances du mod\u00e8le sur diverses t\u00e2ches de traitement du langage naturel.<\/p>\n
La compression des mod\u00e8les de langage pr\u00e9sente plusieurs avantages pratiques. Les mod\u00e8les plus petits n\u00e9cessitent moins de m\u00e9moire GPU, ce qui r\u00e9duit les co\u00fbts d’infrastructure. Ils peuvent \u00e9galement fonctionner plus rapidement et \u00eatre d\u00e9ploy\u00e9s sur un plus large \u00e9ventail d’appareils, y compris les smartphones et les appareils p\u00e9riph\u00e9riques.<\/p>\n
Google a indiqu\u00e9 que TurboQuant pourrait contribuer \u00e0 rendre les capacit\u00e9s d’IA avanc\u00e9es plus accessibles et plus abordables. La technologie pourrait permettre aux entreprises de d\u00e9ployer des mod\u00e8les de langage sophistiqu\u00e9s sans avoir besoin d’investir dans du mat\u00e9riel co\u00fbteux.<\/p>\n
Les chercheurs pr\u00e9voient de publier le code de TurboQuant en open source, permettant ainsi \u00e0 la communaut\u00e9 au sens large de l’IA de b\u00e9n\u00e9ficier de cette avanc\u00e9e. Cette d\u00e9cision s’inscrit dans la tendance croissante des grandes entreprises technologiques \u00e0 partager leurs outils de recherche en IA avec le public.<\/p>\n","protected":false},"excerpt":{"rendered":"
Google a d\u00e9velopp\u00e9 TurboQuant, un algorithme de compression par intelligence artificielle qui peut r\u00e9duire l’utilisation de la m\u00e9moire des mod\u00e8les de langage de grande taille jusqu’\u00e0 six fois Google a d\u00e9velopp\u00e9 un nouvel algorithme de compression appel\u00e9 TurboQuant qui peut r\u00e9duire consid\u00e9rablement les besoins en m\u00e9moire des grands mod\u00e8les de langage. Selon les recherches publi\u00e9es,<\/p>\n","protected":false},"author":0,"featured_media":1211,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[129],"tags":[],"class_list":["post-1210","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-intelligence-artificielle"],"_links":{"self":[{"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/posts\/1210","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/types\/post"}],"replies":[{"embeddable":true,"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/comments?post=1210"}],"version-history":[{"count":0,"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/posts\/1210\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/media\/1211"}],"wp:attachment":[{"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/media?parent=1210"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/categories?post=1210"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/tags?post=1210"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}