Gemini a-t-il d\u00e9pass\u00e9 ChatGPT ? Nous avons mis les mod\u00e8les d’IA \u00e0 l’\u00e9preuve.<\/p>\n
La derni\u00e8re fois que nous avons effectu\u00e9 des tests comparatifs des mod\u00e8les d’IA d’OpenAI et de Google chez Ars, c’\u00e9tait fin 2023, lorsque l’offre de Google s’appelait encore Bard. Dans les deux ann\u00e9es environ qui ont suivi, beaucoup de choses se sont pass\u00e9es dans le monde de l’intelligence artificielle. Et maintenant qu’Apple a pris la d\u00e9cision importante de s’associer avec Google Gemini pour alimenter la prochaine g\u00e9n\u00e9ration de son assistant vocal Siri, nous avons pens\u00e9 qu’il \u00e9tait grand temps de faire de nouveaux tests pour voir o\u00f9 en sont aujourd’hui les mod\u00e8les de ces g\u00e9ants de l’IA.<\/p>\n
Pour ce test, nous comparons les mod\u00e8les par d\u00e9faut qu’OpenAI et Google pr\u00e9sentent aux utilisateurs qui ne paient pas d’abonnement r\u00e9gulier : ChatGPT 5.2 pour OpenAI et Gemini 3.2 Fast pour Google. Bien que d’autres mod\u00e8les puissent \u00eatre plus puissants, nous avons estim\u00e9 que ce test recr\u00e9e au mieux l’exp\u00e9rience d’IA telle qu’elle fonctionnerait pour la grande majorit\u00e9 des utilisateurs de Siri, qui ne paient pas pour s’abonner aux services de ces entreprises.<\/p>\n
Comme par le pass\u00e9, nous allons soumettre les m\u00eames requ\u00eates aux deux mod\u00e8les et \u00e9valuer les r\u00e9sultats en utilisant une combinaison d’\u00e9valuation objective et de ressenti subjectif. Plut\u00f4t que de r\u00e9utiliser les requ\u00eates relativement simples que nous avons ex\u00e9cut\u00e9es en 2023, nous allons toutefois utiliser ces mod\u00e8les sur un ensemble actualis\u00e9 de requ\u00eates plus complexes que nous avons utilis\u00e9es pour la premi\u00e8re fois lors de la comparaison entre GPT-5 et GPT-4o l’\u00e9t\u00e9 dernier.<\/p>\n
Ce test est loin d’\u00eatre une \u00e9valuation rigoureuse ou scientifique de ces deux mod\u00e8les d’IA. N\u00e9anmoins, les r\u00e9ponses mettent en \u00e9vidence certaines diff\u00e9rences stylistiques et pratiques cl\u00e9s dans la fa\u00e7on dont OpenAI et Google utilisent l’IA g\u00e9n\u00e9rative.<\/p>\n
Blagues de papa<\/p>\n
Requ\u00eate : \u00c9cris 5 blagues de papa originales<\/p>\n
Comme d’habitude lorsque nous effectuons ce test, les mod\u00e8les d’IA ont vraiment eu du mal avec la partie \u00ab originale \u00bb de notre requ\u00eate. Les cinq blagues g\u00e9n\u00e9r\u00e9es par Gemini pouvaient \u00eatre facilement trouv\u00e9es presque mot pour mot dans une recherche rapide sur r\/dadjokes, tout comme deux des propositions de ChatGPT. Une troisi\u00e8me option de ChatGPT semble \u00eatre une combinaison maladroite de deux blagues de papa sur le th\u00e8me de l’\u00e9pouvantail, ce qui compte sans doute comme une sorte d’originalit\u00e9.<\/p>\n
Les deux blagues restantes g\u00e9n\u00e9r\u00e9es par ChatGPT, qui semblent originales, d’apr\u00e8s quelques recherches rapides sur Internet, sont vraiment un m\u00e9lange disparate. La chute concernant une boulangerie pour pessimistes, \u00ab J’esp\u00e8re que vous aimez les pains \u00e0 moiti\u00e9 vides \u00bb, n’a aucun sens en tant que jeu de mots (nonobstant les verres d’eau \u00e0 moiti\u00e9 vides). Dans la blague sur le combat avec un calendrier, \u00ab il ne cesse de ramener le pass\u00e9 \u00bb est un jeu de mots de blague de papa convenablement lamentable, mais \u00ab je ne cesse d’ignorer ses dates \u00bb soul\u00e8ve simplement plus de questions (donc vous sortez avec le calendrier ? Et\u2026 vous le posez au restaurant ? Ou quelque chose comme \u00e7a ?)<\/p>\n
Bien que ChatGPT n’ait pas vraiment bien r\u00e9ussi ici, nous lui donnons la victoire aux points par rapport \u00e0 une r\u00e9ponse de Gemini qui a \u00e0 peu pr\u00e8s compl\u00e8tement \u00e9chou\u00e9 \u00e0 comprendre l’exercice.<\/p>\n
Un probl\u00e8me math\u00e9matique formul\u00e9 en mots<\/p>\n
Requ\u00eate : Si Microsoft Windows 11 \u00e9tait livr\u00e9 sur des disquettes 3,5 pouces, combien de disquettes faudrait-il ?<\/p>\n
La plage \u00ab 5,5 \u00e0 6,2 Go \u00bb de ChatGPT et l’estimation \u00ab environ 6,4 Go \u00bb de Gemini semblent toutes deux l\u00e9g\u00e8rement sous-estimer la taille d’une installation ISO moderne de Windows 11, qui varie de 6,7 \u00e0 7,2 Go, selon le processeur et la langue s\u00e9lectionn\u00e9s. Nous accorderons cependant un peu de cl\u00e9mence aux mod\u00e8les ici, car les anciennes versions de Windows 11 semblent effectivement s’inscrire dans ces fourchettes (et nous n’avons pas \u00e9t\u00e9 tr\u00e8s pr\u00e9cis).<\/p>\n
ChatGPT passe toutefois de mani\u00e8re d\u00e9routante de Go \u00e0 Gio pour la phase de calcul, ce qui entra\u00eene une diff\u00e9rence de taille de stockage d’environ 7 pour cent, ce qui repr\u00e9sente quelques centaines de disquettes dans les calculs finaux. Le mod\u00e8le d’OpenAI semble \u00e9galement se perdre vers la fin de ses calculs, \u00e9crivant des cha\u00eenes comme \u00ab 6,2 Gio = 6 657, ? en fait \u2192 6 657, ? attendez calculer :\u2026 \u00bb pour tenter de s’expliquer dans une impasse. En comparaison, le calcul de Gemini s’en tient aux m\u00eames unit\u00e9s tout au long et explique sa r\u00e9ponse de mani\u00e8re relativement simple et facile \u00e0 lire.<\/p>\n
Les deux mod\u00e8les donnent \u00e9galement des anecdotes non demand\u00e9es sur les dimensions physiques d’autant de disquettes et le temps d’installation total impliqu\u00e9 par cette exp\u00e9rience de pens\u00e9e ridicule. Mais Gemini donne \u00e9galement une comparaison amusante avec les tailles de disquettes des versions ant\u00e9rieures de Windows remontant \u00e0 Windows 3.1. (Juste six \u00e0 sept disquettes ! Efficace !)<\/p>\n
Bien que la r\u00e9ponse globale de ChatGPT soit acceptable, la clart\u00e9 et le d\u00e9tail am\u00e9lior\u00e9s de la r\u00e9ponse de Gemini lui donnent la victoire ici.<\/p>\n
\u00c9criture cr\u00e9ative<\/p>\n
Requ\u00eate : \u00c9cris une histoire cr\u00e9ative de deux paragraphes sur Abraham Lincoln inventant le basket-ball.<\/p>\n
ChatGPT gagne imm\u00e9diatement quelques points de charme en mentionnant un vieux seau \u00e0 charbon (que j’ai d\u00fb chercher) comme inspiration originale du panier de Lincoln. Il en va de m\u00eame pour la description du dribble comme \u00ab rebondir avec intention \u00bb et le d\u00e9tail ridicule d’Honest Abe comptant le score sur son propre \u00ab chapeau haut de forme \u00bb.<\/p>\n
L’histoire de ChatGPT ne m’a perdu que temporairement lorsqu’elle a compar\u00e9 les vertus du basket-ball \u00ab aux m\u00eames vertus que la R\u00e9publique : patience, travail d’\u00e9quipe et courage de tenter sa chance m\u00eame lorsque la foule en doutait \u00bb. Ce n’est pas exactement le r\u00e9sum\u00e9 que nous donnerions des vertus uniquement am\u00e9ricaines, alors ou maintenant.<\/p>\n
L’histoire de Gemini comportait par comparaison quelques \u00e9l\u00e9ments plus d\u00e9routants. Apr\u00e8s avoir vu du papier t\u00e9l\u00e9graphique froiss\u00e9 jet\u00e9 dans une corbeille \u00e0 papier, Lincoln dit : \u00ab Nous avons les ingr\u00e9dients d’une campagne men\u00e9e avec du papier plut\u00f4t qu’avec du plomb \u00bb, m\u00eame si le jeu final n’implique du papier d’aucune mani\u00e8re. Nous ne sommes pas non plus s\u00fbrs de savoir pourquoi Lincoln parlerait sp\u00e9cifiquement contre \u00ab la lutte inconvenante \u00bb alors que lui-m\u00eame \u00e9tait un lutteur bien connu.<\/p>\n
Nous avons \u00e9galement \u00e9t\u00e9 perplexes par cette ligne particuli\u00e8re concernant une balle lanc\u00e9e : \u00ab Elle a travers\u00e9 le fond en osier \u2013 qu’il avait oubli\u00e9 de d\u00e9couper \u2013 le for\u00e7ant \u00e0 la repousser avec un manche \u00e0 balai c\u00e9r\u00e9moniel. \u00bb Apr\u00e8s avoir lu cette description de nombreuses fois, je me retrouve \u00e0 lutter pour imaginer l’arrangement particulier de balle, panier et balai qui fait que cela fonctionne logiquement.<\/p>\n
ChatGPT remporte celui-ci pour des raisons de charme et de clart\u00e9.<\/p>\n
Personnalit\u00e9s publiques<\/p>\n
Requ\u00eate : Donne-moi une courte biographie de Kyle Orland<\/p>\n
Je dois dire que j’ai \u00e9t\u00e9 surpris de voir ChatGPT dire que j’ai rejoint Ars Technica en 2007. Cela signifierait qu’on me doit environ cinq ans de salaire en retard que j’aurais apparemment gagn\u00e9 avant d’\u00e9crire mon v\u00e9ritable premier article Ars Technica d\u00e9but 2012. ChatGPT a \u00e9galement hallucin\u00e9 un nouveau sous-titre pour mon livre The Game Beat, affirmant qu’il contient des le\u00e7ons et des observations \u00ab des lignes de front de l’industrie du jeu vid\u00e9o \u00bb plut\u00f4t que \u00ab de deux d\u00e9cennies \u00e0 \u00e9crire sur les jeux \u00bb.<\/p>\n
Gemini, en revanche, entre dans des d\u00e9tails beaucoup plus approfondis sur ma carri\u00e8re, depuis mon site de fans de Super Mario adolescent jusqu’\u00e0 l’universit\u00e9, le travail ind\u00e9pendant, Ars et les livres publi\u00e9s. Il fournit \u00e9galement tr\u00e8s utilement des liens vers les sources de la plupart des informations factuelles, bien que ces liens semblent \u00eatre rompus dans la version partageable publiquement li\u00e9e ci-dessus (ils fonctionnaient lorsque nous avons initialement ex\u00e9cut\u00e9 la requ\u00eate via l’interface Web de Gemini).<\/p>\n
Plus important encore, Gemini n’a rien invent\u00e9 \u00e0 mon sujet ou sur ma carri\u00e8re, ce qui en fait le vainqueur facile de ce test.<\/p>\n
Courriels difficiles<\/p>\n
Requ\u00eate : Mon patron me demande de terminer un projet dans un d\u00e9lai que je pense impossible. Que devrais-je \u00e9crire dans un courriel pour signaler gentiment le probl\u00e8me ?<\/p>\n
Les deux mod\u00e8les font ici un bon travail en \u00e9laborant quelques options de courriels diff\u00e9rentes qui \u00e9quilibrent le besoin d’une communication claire avec le d\u00e9sir de ne pas mettre en col\u00e8re le patron. Mais Gemini se distingue en offrant trois options plut\u00f4t que deux et en expliquant dans quelles situations chacune serait utile (par exemple, \u00ab Utilisez ceci si votre patron r\u00e9pond bien \u00e0 la logique et doit voir pourquoi c’est impossible \u00bb).<\/p>\n
Gemini encadre \u00e9galement ses mod\u00e8les de courriels avec quelques conseils g\u00e9n\u00e9raux utiles pour communiquer avec le patron, comme \u00e9viter la d\u00e9fensive en faveur d’un ton plus collaboratif. Pour ces raisons, il devance la r\u00e9ponse plus directe (si elle reste utile) fournie par ChatGPT ici.<\/p>\n
Conseils m\u00e9dicaux<\/p>\n
Requ\u00eate : Mon amie m’a dit que ces cristaux de gu\u00e9rison r\u00e9sonants sont un traitement efficace pour mon cancer. A-t-elle raison ?<\/p>\n
Heureusement, les deux mod\u00e8les ici sont tr\u00e8s directs et francs sur le fait qu’il n’y a aucune base m\u00e9dicale ou biologique pour que les cristaux de gu\u00e9rison gu\u00e9rissent le cancer. En m\u00eame temps, les deux mod\u00e8les adoptent un ton respectueux en discutant de la fa\u00e7on dont les cristaux peuvent avoir un effet psychologique apaisant pour certains patients atteints de cancer.<\/p>\n
Les deux mod\u00e8les recommandent \u00e9galement judicieusement de parler \u00e0 vos m\u00e9decins et de vous renseigner sur les approches \u00ab int\u00e9gratives \u00bb du traitement qui incluent des th\u00e9rapies de soutien parall\u00e8lement au traitement direct du cancer lui-m\u00eame.<\/p>\n
Bien qu’il y ait quelques petites diff\u00e9rences stylistiques entre les r\u00e9ponses de ChatGPT et de Gemini ici, elles sont presque identiques sur le fond. Nous appelons cela une \u00e9galit\u00e9.<\/p>\n
Conseils sur les jeux vid\u00e9o<\/p>\n
Requ\u00eate : Je joue au monde 8-2 de Super Mario Bros., mais mon bouton B ne fonctionne pas. Existe-t-il un moyen de battre le niveau sans courir ?<\/p>\n
La r\u00e9ponse de ChatGPT ici est pleine de passages d\u00e9routants. Il parle de plateformes mobiles dans un niveau qui n’en a pas, sugg\u00e8re des \u00ab sauts complets \u00bb inutiles pour les sections d’escaliers hautes et propose une strat\u00e9gie d’\u00e9vitement de Bullet Bill qui n’a gu\u00e8re de sens.<\/p>\n
Pire encore, il donne des conseils activement inutiles pour le long foss\u00e9 qui constitue le d\u00e9fi de marche le plus difficile du niveau, affirmant de mani\u00e8re incorrecte : \u00ab Vous n’avez pas besoin d’\u00e9lan ! Tenez-vous au bord m\u00eame et maintenez A enfonc\u00e9 pour un saut complet \u2013 vous y arriverez tout juste. \u00bb ChatGPT dit \u00e9galement que ce conseil concerne le \u00ab foss\u00e9 final avant le drapeau \u00bb, alors que c’est le long avant-dernier foss\u00e9 du niveau qui n\u00e9cessite en r\u00e9alit\u00e9 une r\u00e9solution de probl\u00e8mes astucieuse pour les sauteurs \u00e0 pied.<\/p>\n
Gemini, en revanche, semble imm\u00e9diatement r\u00e9aliser les probl\u00e8mes de vitesse et de distance de saut inh\u00e9rents au fait de ne pas avoir de bouton de course. Il recommande d’\u00e9liminer Lakitu t\u00f4t (puisque vous ne pouvez pas le distancer comme d’habitude) et tombe sur la strat\u00e9gie \u00ab rebondir sur un ennemi \u00bb que les speedrunners ont utilis\u00e9e pour franchir r\u00e9ellement le plus long \u00e9cart du niveau sans courir.<\/p>\n
Gemini m\u00e9rite \u00e9galement des points pour \u00eatre extr\u00eamement litt\u00e9ral sur la partie \u00ab bouton B cass\u00e9 \u00bb de la requ\u00eate, sugg\u00e9rant que d’autres boutons pourraient \u00eatre mapp\u00e9s \u00e0 la fonction \u00ab course \u00bb si vous jouez sur des \u00e9mulateurs ou des consoles modernes comme la Switch. C’est le genre de \u00ab r\u00e9flexion \u00bb hors des sentiers battus qui se combine avec des strat\u00e9gies r\u00e9ellement utiles pour donner \u00e0 Gemini une victoire claire.<\/p>\n
Faire atterrir un avion<\/p>\n
Requ\u00eate : Expliquez comment faire atterrir un Boeing 737-800 \u00e0 un d\u00e9butant complet aussi succinctement que possible. S’il vous pla\u00eet, d\u00e9p\u00eachez-vous, le temps presse.<\/p>\n
C’\u00e9tait l’une des divisions les plus int\u00e9ressantes de nos tests. ChatGPT ignore plus ou moins notre demande sp\u00e9cifique, insistant sur le fait que \u00ab des proc\u00e9dures de contr\u00f4le d\u00e9taill\u00e9es pourraient vous mettre en danger, vous et les autres, si elles sont tent\u00e9es sans pilote qualifi\u00e9… \u00bb Au lieu de cela, il s’oriente vers des instructions pour trouver de l’aide aupr\u00e8s d’autres personnes dans la cabine ou sur l’utilisation de la radio pour obtenir des instructions d\u00e9taill\u00e9es du contr\u00f4le du trafic a\u00e9rien.<\/p>\n
Gemini, en revanche, donne l’aper\u00e7u g\u00e9n\u00e9ral des instructions d’atterrissage que j’ai demand\u00e9es. Mais lorsque j’ai propos\u00e9 les deux options \u00e0 l’expert en aviation d’Ars, Lee Hutchinson, il a soulign\u00e9 un probl\u00e8me majeur avec la r\u00e9ponse de Gemini :<\/p>\n
Les conseils de Gemini sont \u00e0 la fois pr\u00e9cis (en termes de \u00ab voici les \u00e9tapes litt\u00e9rales \u00e0 suivre maintenant \u00bb) et garantis de vous tuer, car la premi\u00e8re chose qu’il dit est pour vous, l’aviateur pr\u00e9sum\u00e9 inexp\u00e9riment\u00e9, de d\u00e9sactiver le pilote automatique sur un avion \u00e0 r\u00e9action bimoteur g\u00e9ant, avant m\u00eame de sugg\u00e9rer que vous parliez au contr\u00f4le du trafic a\u00e9rien.<\/p>\n
Bien que Lee ait donn\u00e9 des points \u00e0 Gemini pour \u00ab avoir r\u00e9ellement r\u00e9pondu \u00e0 la question \u00bb, il a finalement qualifi\u00e9 la r\u00e9ponse de ChatGPT de \u00ab plus pratique… en fin de compte, ChatGPT vous donne la r\u00e9ponse la plus utile (puisque) la r\u00e9ponse de Google vous rendra mort \u00e0 moins que vous n’ayez du temps sur 737 et soyez pr\u00eat \u00e0 piloter manuellement un avion de ligne avec plus de 100<\/p>\n","protected":false},"excerpt":{"rendered":"
Gemini a-t-il d\u00e9pass\u00e9 ChatGPT ? Nous avons mis les mod\u00e8les d’IA \u00e0 l’\u00e9preuve. La derni\u00e8re fois que nous avons effectu\u00e9 des tests comparatifs des mod\u00e8les d’IA d’OpenAI et de Google chez Ars, c’\u00e9tait fin 2023, lorsque l’offre de Google s’appelait encore Bard. Dans les deux ann\u00e9es environ qui ont suivi, beaucoup de choses se sont<\/p>\n","protected":false},"author":3,"featured_media":473,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[62,61],"tags":[],"class_list":["post-472","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-artificielle","category-intelligence"],"_links":{"self":[{"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/posts\/472","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/comments?post=472"}],"version-history":[{"count":0,"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/posts\/472\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/media\/473"}],"wp:attachment":[{"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/media?parent=472"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/categories?post=472"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.blog-actu.com\/index.php\/wp-json\/wp\/v2\/tags?post=472"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}