OpenAI et Broadcom annoncent une puce conçue pour l’inférence de LLM à grande échelle
OpenAI a annoncé aujourd’hui qu’elle a travaillé avec Broadcom pour concevoir son premier circuit intégré pour applications spécifiques, ou ASIC, une puce conçue pour traiter les requêtes d’inférence pour ses modèles de langage de grande taille, ou LLM.
La puce a été conçue en interne par OpenAI et sera fabriquée par Taiwan Semiconductor Manufacturing Co., ou TSMC. Broadcom a fourni le soutien à la conception de puces ainsi que l’expertise en matière de réseautage et de packaging de puces nécessaires pour que les puces puissent bien fonctionner ensemble, selon Bloomberg.
Bien qu’elle ne produise pas de puce d’entraînement, OpenAI a déclaré qu’elle développait son deuxième ASIC. L’entreprise a ajouté qu’elle fera toujours partie de son infrastructure informatique d’utiliser des unités de traitement graphique, ou GPU, de Nvidia pour l’entraînement de modèles et l’inférence. Elle utilisera également des puces d’Advanced Micro Devices Inc.
OpenAI a déclaré qu’elle commencerait les déploiements de puces de serveur cette année et qu’elle s’attendait à ce que sa propre puce améliore les performances tout en réduisant le coût de fonctionnement de ses modèles d’IA. La conception de puces en interne pour l’inférence est devenue une tendance parmi les grandes entreprises technologiques, notamment Amazon, Google, Meta et Microsoft.
La plupart des grandes entreprises technologiques qui ont conçu leurs propres puces d’IA les ont fait pour l’inférence, qui nécessite moins de puissance de calcul que l’entraînement de modèles d’IA, ce qui la rend plus réalisable pour les puces fabriquées en interne avec des équipes ayant moins d’expérience en matière de conception de puces. Parmi les grandes entreprises technologiques qui ont déjà annoncé avoir conçu leurs propres puces d’IA pour l’inférence, on trouve Amazon avec sa puce Inferentia, Google avec sa puce Tensor Processing Unit et Microsoft avec sa puce Maia.
La nouvelle intervient alors qu’OpenAI continuerait à discuter avec SoftBank Group Corp. et TSMC pour construire des usines de fabrication de puces dans le cadre d’un projet visant à stimuler l’infrastructure mondiale de puces d’IA. La construction d’usines coûterait des centaines de milliards de dollars et OpenAI aurait jusqu’à présent eu du mal à obtenir un soutien suffisant pour le projet.
