2026-08-26

Le taux d'erreur phare de 2,6 % de Gemini 3.5 Transcribe double presque sur le seul benchmark multilingue nommé

AIModels🌍 North America

Google DeepMind a annoncé Gemini 3.5 Transcribe, un modèle de reconnaissance vocale succédant à Chirp 3, livré sur deux API : streaming en temps réel avec une latence inférieure à la seconde via la Live API (gemini-3.5-transcribe-live), et traitement d'audio pré-enregistré avec attribution des locuteurs et horodatage au mot près via l'Interactions API (gemini-3.5-transcribe). La liste de fonctionnalités est directe et véritablement utile pour un modèle de transcription : gérer les auto-corrections en milieu de phrase (« retrouvons-nous mardi — non, mercredi »), retirer les mots de remplissage, formater automatiquement le résultat, reconnaître un vocabulaire personnalisé, et détecter automatiquement plus de 85 langues. L'attribution des locuteurs est explicitement plafonnée et divulguée comme telle : jusqu'à trois locuteurs pris en charge, tout ce qui dépasse étant marqué « expérimental » plutôt que dégradé en silence.

Le chiffre phare, et d'où il vient

Google déclare que le modèle « atteint un taux d'erreur de mots (WER) moyen de 4,0 % en streaming et de 2,6 % pour les cas d'usage non-streaming », attribué directement à Artificial Analysis — un agrégateur de benchmarks réel et indépendant, pas un chiffre que Google aurait généré lui-même. La même source est créditée pour une affirmation distincte : le temps jusqu'à la transcription finale s'améliore de 70 % par rapport à Chirp 3. Les deux sont des chiffres véritablement mesurés par un tiers, qui méritent d'être pris au pied de la lettre comme des affirmations réelles et vérifiables plutôt qu'une déclaration de l'éditeur sur lui-même.

Le chiffre qui ne correspond pas, sur le seul benchmark réellement nommé

Plus loin dans le même billet, Google rapporte des résultats sur FLEURS — un benchmark vocal multilingue standard et publiquement connu — « sur un ensemble des langues et régions principales » : 5,50 % de WER en mode streaming et 5,04 % en non-streaming. Il vaut la peine de s'arrêter directement sur cet écart : le chiffre FLEURS non-streaming, 5,04 %, est presque le double des 2,6 % de moyenne non-streaming phare rapportée juste au-dessus dans la même annonce. Ce n'est pas nécessairement une contradiction — une « moyenne » calculée sur le mélange de langues et de conditions retenu par Artificial Analysis, quel qu'il soit, porte sur une distribution différente, et probablement plus facile, qu'un benchmark spécifiquement multilingue couvrant de nombreuses langues et régions à la fois — mais c'est un écart réel et précis entre le chiffre par lequel Google ouvre et le chiffre rattaché au seul benchmark nommé et reconnaissable de l'extérieur dans le billet. Il vaut aussi la peine de noter : contrairement au WER phare et au chiffre de 70 % de latence, les chiffres FLEURS ne sont attribués explicitement ni à Artificial Analysis ni à aucun autre tiers nommé dans le texte — ils se lisent comme la propre évaluation interne de Google, un niveau de preuve différent des chiffres mesurés en externe juste au-dessus. Et malgré la répétition de « s'améliore par rapport à Chirp 3 » à deux reprises, l'annonce ne précise jamais quel était réellement le WER ou le score FLEURS de Chirp 3 — l'affirmation d'amélioration n'a de référence nulle part dans le billet pour la vérifier.

L'appel de fonctions, et où il fonctionne réellement aujourd'hui

Une capacité qui mérite d'être signalée pour ce qu'elle est réellement plutôt que ce à quoi elle ressemble : le modèle « peut déléguer des tâches complexes (comme la génération d'images et l'analyse de fichiers) à d'autres modèles Gemini via des appels de fonction » — une conception réelle et intéressante où un modèle de transcription route le travail vers d'autres modèles à partir de commandes vocales. Le propre texte du billet précise que cela n'est « actuellement disponible que dans l'application Gemini pour macOS », pas dans l'API générale. C'est une limite de portée significative sur une affirmation de capacité qui sonne autrement large, et qui doit rester accolée à cette affirmation.

Le déploiement est échelonné, pas uniforme

« Commencez à l'utiliser dès aujourd'hui » sous-estime à quel point la disponibilité est en réalité partielle au lancement. Pour les développeurs : aperçu public dans Google AI Studio et Google Antigravity. Pour les entreprises : aperçu public via la Gemini Enterprise Agent Platform, la gamme Customer Experience étant explicitement « à venir prochainement » plutôt qu'en service. Pour le grand public : l'application Gemini sur macOS (anglais seulement), la fonctionnalité Rambler sur Android (pays et langues sélectionnés seulement), et une prise en charge de Chrome « à venir prochainement » et pas du tout en service pour l'instant. Trois produits différents, trois états de disponibilité différents, une seule date de lancement — mieux vaut lire le périmètre précis avant de supposer un accès universel.

Ce qui relève du témoignage client, et ce qui relève d'une intégration indépendante

Google nomme Vivo, Intellitek Health, et Lingopal comme des entreprises donnant un retour positif — des témoignages classiques sélectionnés par l'éditeur, à traiter comme des citations marketing plutôt que comme une évaluation indépendante. Séparément, et de façon plus substantielle : de vraies plateformes de développement tierces — Agora, Fishjam, LangChain, LiveKit, Pipecat, Vercel, et Vision Agents — sont nommées comme construisant déjà une infrastructure vocale en temps réel par-dessus la Live API. C'est un type d'affirmation différent et plus vérifiable qu'un témoignage : ce sont de vrais produits qu'un lecteur pourrait aller vérifier comme intégrant réellement l'API, pas des citations sélectionnées pour l'annonce.

À surveiller

  • Une comparaison directe et de même source entre le chiffre moyen et le chiffre FLEURS. Actuellement, les deux affirmations de précision phares du même billet utilisent des références différentes et, apparemment, des sources de mesure différentes — mieux vaudrait que Google clarifie cela plutôt que de laisser l'écart inexpliqué.
  • Les chiffres de référence réels de Chirp 3. Chaque affirmation d'amélioration dans le billet de lancement est relative (« s'améliore par rapport à Chirp 3 », « s'améliore de 70 % ») sans indiquer ce que Chirp 3 lui-même obtenait — des chiffres comparables de façon indépendante pour les deux modèles rendraient les affirmations d'amélioration vérifiables plutôt que simplement affirmées.
  • La résolution du déploiement échelonné. La prise en charge de Chrome, une couverture linguistique grand public plus large, et le produit Enterprise Customer Experience ne sont explicitement pas encore en service — à vérifier une fois que le « à venir prochainement » sera devenu réalité.

Références : Google — annonce de Gemini 3.5 Transcribe · couverture liée : Gemini 3.7 Flash gagne neuf des vingt benchmarks · Frontier Arcade : tendances et prédictions