Google DeepMind a lancé aujourd'hui Gemini 3.8 Live et Gemini 3.8 Live Extended Thinking, présentés comme sa meilleure IA conversationnelle à ce jour : des modèles qui « parlent, réfléchissent et gèrent des tâches en arrière-plan sans briser le fil de la conversation ». Le lancement s'appuie sur des benchmarks externes plus que la plupart des annonces de modèles que ce blog a couvertes — quatre graphiques distincts d'Artificial Analysis et un de Sierra, l'entreprise d'agents pour l'entreprise. Cela mérite d'être pris au sérieux, puisque ce blog a déjà noté qu'Artificial Analysis est un organisme de benchmarking véritablement indépendant, pas une marque maison. Mais quel graphique un laboratoire choisit de publier, et comment il cadre le chiffre à côté, reste un choix éditorial du laboratoire — et deux détails dans les propres graphiques sélectionnés par Google contredisent le cadrage qui les entoure.
Le nouveau modèle phare perd face au mode à effort élevé de la génération précédente
Commençons par le graphique « Performance agentique (τ-Voice) », le deuxième graphique du dossier de lancement de Google lui-même. Gemini 3.8 Live Extended Thinking est en tête à 68,6 %, devant GPT-Live-1 d'OpenAI associé à GPT-6 Astra à 67,9 %. Jusque-là, rien à redire. Mais en parcourant le même graphique plus bas : Gemini 3.8 Live — le nouveau modèle simple, sans Extended Thinking, lancé aujourd'hui — obtient 30,1 %, en dessous de Gemini 3.1 Flash Live (Élevé) à 37,7 %. Le modèle de la génération précédente, tournant à un niveau d'effort supérieur, bat le modèle de base de la nouvelle génération sur le propre benchmark vocal agentique de Sierra, de plus de sept points. Rien dans le texte qui entoure le graphique chez Google ne reconnaît ce fait. Le billet de blog consacré à 3.8 Live se concentre entièrement sur sa « préférence élevée parmi les utilisateurs » et son efficacité de coût — deux affirmations réelles, abordées plus bas — tandis que le seul graphique qui permettrait à un lecteur de comparer le nouveau modèle de base à l'ancien modèle à effort élevé montre le nouveau modèle en retrait. Un graphique de lancement n'a pas besoin de flatter chaque ligne pour être honnête, et Google n'a pas caché le chiffre ; il n'a simplement pas mentionné ce qu'il montre.
Deux laboratoires, la même famille de benchmarks, deux vainqueurs différents
Le graphique « τ³-Banking Leaderboard » s'appuie sur le τ³-bench de Sierra — une suite de benchmarks réelle et construite de façon indépendante couvrant le commerce de détail, l'aérien, les télécoms, la banque et la voix. Le graphique de Google montre Gemini 3.8 Live Extended Thinking à 35,1 %, devant GPT-Live-1 associé à GPT-6 Astra à 32,0 %. C'est un résultat réel, sur un benchmark tiers réel. Cela complique aussi directement une affirmation qu'OpenAI avait faite cinq jours plus tôt : en lançant GPT-Live-1 le 10 septembre, OpenAI avait affirmé que ce même duo GPT-Live-1 plus Astra « se classe premier sur Tau3 » — la même famille de benchmarks Sierra que Google cite aujourd'hui. Les deux affirmations peuvent être vraies simultanément si elles décrivent des sous-ensembles ou des configurations différentes d'une suite multi-domaines (Tau3 couvre plus que la seule banque), et ce billet ne peut pas totalement réconcilier les deux à partir des seuls documents publics. Mais le schéma lui-même est familier : ce blog l'a déjà vu avec les chiffres Chartography contradictoires de DeepSeek et de Sakana, et le revoit ici — deux laboratoires citant la même famille de benchmarks tiers, nommée et réelle, chacun publiant la coupe précise où il arrive en tête, aucun ne publiant celle de l'autre.
« Deuxième place » — derrière qui ?
Le billet de Google affirme que Gemini 3.8 Live « a montré une préférence élevée parmi les utilisateurs, obtenant une deuxième place dans la Speech Agent Arena ». La Speech Agent Arena est le classement de préférence en aveugle, sur conversations en direct, d'Artificial Analysis — une arène réelle et gérée de façon indépendante, pas une construction de Google. Mais le billet de Google ne précise pas de quel classement il s'agit parmi les deux classements distincts de l'arène : le classement de préférence Elo, ou le classement du taux de réussite des tâches, qui ne sont pas la même liste. Sur le classement de préférence Elo en particulier, le modèle qui occupait la première place dans les classements publiés par Artificial Analysis elle-même est Gemini 3.1 Flash Live Preview — Minimal, le propre modèle de Google, plus ancien et moins cher, de la génération précédente, à 1 046 Elo. Si « deuxième place » renvoie à ce classement, l'affirmation du jour de lancement du nouveau 3.8 Live signifierait qu'il se classe derrière un modèle moins cher de la propre génération précédente de Google, pas derrière un concurrent. Cela ne remet pas en cause la qualité réelle de 3.8 Live — les classements d'arène évoluent à mesure que de nouveaux modèles accumulent des votes, et 3.8 Live pourrait bien dépasser son prédécesseur une fois suffisamment de conversations enregistrées — mais c'est un détail qu'il vaut mieux connaître plutôt que de supposer que « deuxième place » signifie deuxième derrière un laboratoire rival.
Ce que montre réellement le graphique des coûts
Le seul graphique du dossier de lancement qui se lit sans réserve à l'avantage de Google est celui des coûts. Gemini 3.8 Live est tarifé à 0,84 $ par heure d'audio en entrée sur le sous-ensemble Big Bench Audio — le modèle le moins cher du graphique, sous-cotant même les variantes Flash Live de la génération précédente (1,50 à 1,75 $) et loin en dessous de GPT-Live-1 Astra (5,83 $) ou de Grok Voice Think Fast 2.0 (4,80 $). Extended Thinking coûte plus de quatre fois plus cher que le modèle de base, à 3,50 $ — toujours moins cher que les deux concurrents nommés, mais un vrai bond par rapport au palier de base pour ce que le raisonnement supplémentaire achète. Lu à côté du graphique de performance agentique ci-dessus, la lecture honnête est que Google a lancé un modèle conversationnel véritablement bon marché et un modèle véritablement plus capable mais beaucoup plus cher pour le raisonnement, et que le nom « 3.8 Live » recouvre les deux — il vaut mieux savoir lequel des deux un graphique de benchmark donné décrit réellement avant de supposer que « 3.8 Live » désigne la même chose dans chaque barre.
SynthID, étendu à la voix
Google indique que tout l'audio produit par ces modèles est marqué avec SynthID. Ce blog a écrit un explicateur technique complet sur SynthID-Text le mois dernier — le mécanisme que Google DeepMind a publié dans Nature, et dont Anthropic a par la suite confirmé que son propre filigrane pour Claude était une variante. L'idée centrale (remplacer les choix aléatoires de tokens d'un modèle par une source pseudo-aléatoire à clé secrète, de sorte que la même distribution de sortie devienne reconnaissable plus tard sans changer ce que dit le modèle) a été conçue pour le texte, mais la même logique s'étend naturellement à la génération audio, où un modèle continue de faire une longue séquence de choix probabilistes. Le billet de lancement de Google ne précise pas si le filigrane audio de Gemini utilise le mécanisme SynthID identique ou une variante propre à la modalité, ce qu'il vaudrait la peine de confirmer avant de supposer que les réserves de l'explicateur consacré au texte — le contenu à faible entropie porte peu de signal, le paraphrasage l'érode — se transposent directement à l'audio parlé.
Un benchmark venu d'une entreprise figurant sur la liste des citations partenaires
Un dernier détail, plus mineur, mérite d'être noté : EVA-Bench, dont Google dit que ses modèles s'en servent pour « repousser la frontière de Pareto pour les flux de travail complexes », est le propre benchmark de ServiceNow, exécuté, selon la propre note de bas de page de Google, « sur l'API Live de la plateforme d'agents Gemini Enterprise ». ServiceNow figure aussi parmi les citations de partenaires du même billet de lancement, aux côtés de Salesforce, Genspark et Lumeris. Cela ne rend pas le résultat d'EVA-Bench faux, mais c'est une donnée provenant d'un partenaire commercial testant sur la propre plateforme de Google, pas l'évaluation indépendante d'un laboratoire extérieur — une catégorie de preuve différente de celle des graphiques d'Artificial Analysis et de Sierra, qu'il vaut mieux ne pas confondre avec eux même si les cinq graphiques se trouvent dans le même billet avec le même poids visuel.
Ce que ce lancement laisse en suspens
Rien de tout cela ne fait de Gemini 3.8 Live un mauvais modèle — le graphique du Speech to Speech Index, la mesure la plus claire de la qualité conversationnelle brute, montre Extended Thinking véritablement en tête d'un champ réel, et les chiffres de coût constituent un avantage réel et vérifiable. Ce que cela montre, c'est le schéma désormais familier d'un dossier de lancement de laboratoire de pointe contenant, en lui-même, les éléments d'une histoire plus compliquée que celle racontée par le texte qui l'entoure : un nouveau modèle de base qui régresse sur le seul benchmark agentique montré, une affirmation sur une famille de benchmarks qui recoupe de façon gênante une affirmation rivale vieille de cinq jours sur la même suite, et une ligne « deuxième place » dont le sens dépend d'un classement que le billet ne nomme jamais. Lire les graphiques eux-mêmes, pas seulement les paragraphes qui les accompagnent, fait ici un vrai travail.