DiffusionGemma : quand la génération de texte cesse d'être séquentielle

DiffusionGemma (diffusiongemma-26B-A4B-it) de Google DeepMind est un modèle en poids ouverts qui génère du texte de la même manière que les modèles de diffusion d'images génèrent des pixels — non pas un token à la fois, mais comme un bloc entier progressivement affiné. Il est construit sur le socle Mixture-of-Experts de Gemma 4 26B-A4B (environ 25,2 Md de paramètres au total / 3,8 Md actifs), avec une tête de diffusion greffée sur cette même architecture plutôt qu'un modèle conçu de zéro.

Débruiter plutôt que prédire

Un LLM autorégressif standard émet les tokens les uns après les autres, chacun conditionné par tout ce qui précède — ce qui signifie une petite multiplication matricielle par token, et un GPU qui passe le plus clair de son temps à attendre la mémoire plutôt qu'à réellement calculer. DiffusionGemma part au contraire d'un bloc pouvant compter jusqu'à 256 tokens masqués (des espaces réservés) et effectue plusieurs étapes de débruitage itératif sur l'ensemble du bloc à la fois, en utilisant une attention bidirectionnelle pour que les tokens puissent s'informer mutuellement, en avant comme en arrière. Les tokens les plus « confiants » se résolvent en premier et aident à lever l'ambiguïté de ceux encore incertains, si bien qu'un passage « se met au point » en quelques itérations plutôt que d'être figé mot par mot.

En pratique, cela signifie que le modèle peut débruiter l'équivalent de 15 à 20 tokens de sortie par passe avant, au lieu d'un seul — déplaçant le goulot d'étranglement de la bande passante mémoire vers le calcul brut. Effet secondaire intéressant : comme les tokens sont revisités au fil des étapes de débruitage plutôt que figés immédiatement, le modèle dispose de davantage de marge pour se corriger en cours de génération qu'un décodeur strictement gauche-à-droite.

Là où cela rapporte réellement : l'inférence locale, mono-utilisateur

Le cadrage « limité par le calcul » prend tout son sens précisément dans le cas habituellement le plus défavorable aux modèles autorégressifs : une taille de lot de un, une seule personne attendant une réponse. NVIDIA's RTX AI Garage a optimisé DiffusionGemma pour les cartes GeForce RTX et RTX PRO ainsi que pour les DGX Spark et DGX Station, et les chiffres de débit confirment la promesse — plus de 1 000 tokens/s rapportés sur un seul H100 en FP8, environ 150 tokens/s sur DGX Spark, et jusqu'à 2 000 tokens/s sur DGX Station, soit environ 4 fois un modèle autorégressif équivalent dans ce même régime mono-utilisateur. NVIDIA recommande au moins 16 Go de VRAM pour héberger confortablement les paramètres actifs du modèle, et propose une variante quantifiée en NVFP4 pour les configurations locales plus légères.

Plus rapide, pas plus intelligent

La réserve honnête, répétée dans plusieurs analyses indépendantes : DiffusionGemma reste derrière le Gemma 4 autorégressif standard sur les benchmarks établis comme MMLU et les évaluations de code. Ce n'est pas une montée en capacité — c'est un point différent sur la courbe latence/débit, visant précisément à rendre la génération locale instantanée plutôt qu'à améliorer le raisonnement du modèle. Avec une fenêtre de contexte de 256K, un appel de fonction natif, un support multilingue couvrant plus de 35 langues, et une entrée multimodale sous licence Apache 2.0, c'est un compromis véritablement utile pour la bonne charge de travail — mais pas un substitut au recours au modèle le plus puissant lorsque la tâche l'exige.

Mise à jour — 25 juillet 2026 : le même pari, désormais en production

Lors de la publication de cet article en juin, DiffusionGemma se lisait comme un cas isolé intéressant. Six semaines plus tard, il est clair qu'il n'était ni le premier ni le dernier — c'est une entrée dans une catégorie qui se construit depuis plus d'un an.

Il convient de rectifier le tir sur la question du « premier », car je l'ai sous-crédité plus haut. Inception Labs a lancé Mercury Coder en février 2025 — le premier LLM de diffusion à échelle commerciale au monde, quinze mois avant DiffusionGemma, issu du laboratoire de Stefano Ermon à Stanford, qui avait co-écrit les travaux sur la modélisation générative par score sur lesquels repose la diffusion d'images. Mercury Coder Mini et Small ont atteint 1 109 et 737 tokens/s sur un seul H100, jusqu'à 10× la vitesse de modèles autorégressifs optimisés à qualité comparable. Inception a généralisé cela au chat ouvert en juin 2025, publié un rapport technique, et a depuis lancé Mercury 2 — le premier dLLM capable de raisonnement, à 1 009 tokens/s et 1,7 s de bout en bout contre 14,4 s pour Gemini 3 Flash — ainsi que Mercury Edit 2, un modèle conçu uniquement pour la prédiction de « prochaine modification » dans un IDE.

Ce dernier est le produit le plus instructif de la catégorie, car il choisit la tâche pour laquelle la diffusion est réellement la meilleure. La prédiction de la prochaine modification est critique en latence — une suggestion qui arrive après que vous avez déjà tapé la ligne ne vaut rien — et les sorties sont courtes et structurellement contraintes. Exactement le profil où le débruitage parallèle porte ses fruits sans exposer ses faiblesses de raisonnement à long horizon. Il obtient un score de qualité de 75,6 % en 221 ms, devant Claude 4.5 Haiku (71,4 %) et GPT-5.4 Nano (73,5 %). Google a publié un généraliste en poids ouverts pour voir ce que la diffusion pouvait faire ; Inception a lancé un produit fermé et étroit dont la réponse était déjà connue.

Google n'a donc pas ouvert la catégorie. Ce que Google a fait, c'est la rendre inspectable — ce dont dépend le reste de cette mise à jour.

Celeris Labs a annoncé celeris-1 le 24 juillet — et le positionnement diffère nettement de celui de Google. DiffusionGemma est une publication de recherche en poids ouverts que l'on télécharge et exécute soi-même ; celeris-1 est un produit d'inférence commercial, le décodage par diffusion derrière une API compatible OpenAI (il suffit de pointer votre SDK existant vers api.celeris.ai et de conserver votre code). L'argument de l'entreprise est d'avoir construit « une nouvelle architecture d'inférence pour les modèles de langage, fondée sur la diffusion, qui atteint une latence et une qualité que les systèmes de diffusion précédents ne pouvaient pas atteindre ».

Leur tableau de benchmarks publié rend le compromis inhabituellement lisible :

À lire comme une frontière — en haut à gauche, on gagne sur les deux tableaux, précision et vitesse — et trois éléments ressortent.

Face à Gemini 2.5 Flash et Mercury 2, celeris-1 domine tout simplement : meilleure précision et latence plus faible, aucun compromis. La comparaison avec Mercury 2 est la plus significative, car Mercury est l'autre modèle de diffusion et la seule entrée dans la même classe de latence — celeris-1 le devance de 12 points avec 100 ms de moins. C'est le face-à-face qui teste réellement l'affirmation « nous avons résolu la qualité de la diffusion », et celeris-1 le remporte.

Face à GPT-5 et Gemini 3.5 Flash Lite, c'est un véritable compromis : ils sont 6 à 7 points plus précis, et 13 à 16 fois plus lents. Savoir si c'est un bon compromis dépend entièrement de ce que l'on construit. Pour un agent vocal, 158 ms contre 2 secondes fait la différence entre une conversation et une attente ; pour un assistant de recherche, sept points de MMLU-Pro comptent plus que l'un ou l'autre.

Un mérite à souligner sur la méthodologie : cette colonne base de mesure offre plus de transparence que la plupart des pages de benchmarks fournisseurs. Elle montre aussi que la comparaison est mixte — les entrées Gemini sont mesurées de bout en bout, réseau inclus, les autres sont rapportées par le serveur, ce qui l'exclut. Et leur graphique d'accompagnement précise « budget de raisonnement 0 : la configuration la plus rapide pour chaque modèle », avec Mercury 2 en mode instantané. C'est une manière défendable de comparer des planchers de latence, mais cela signifie que les modèles autorégressifs sont testés raisonnement désactivé, ce qui n'est la manière de faire tourner GPT-5 de personne lorsque la réponse compte. Tous les chiffres sont auto-rapportés.

Ce que la divulgation plus complète de DiffusionGemma révèle

C'est ici que disposer des chiffres des deux modèles côte à côte prend tout son sens. Google a publié quinze benchmarks pour DiffusionGemma face à son propre homologue autorégressif de même taille — Gemma 4 26B A4B, même socle, même laboratoire. C'est une expérience contrôlée sur ce que coûte réellement le décodage par diffusion, et la réponse est : cela dépend énormément de la tâche.

Le schéma est cohérent. Le rappel de connaissances générales survit presque intact au débruitage parallèle. Ce qui se dégrade, c'est le raisonnement en plusieurs étapes (AIME perd 19 points), l'usage agentique d'outils (Tau2, 82 % conservé), la récupération sur contexte long, et la sortie structurée précise — la distance d'édition d'OmniDocBench plus que double, car obtenir une structure de document exactement correcte est précisément ce que « réviser tout le bloc à la fois » fait le plus mal.

Ce qui remet en perspective le chiffre unique publié par celeris-1 : MMLU-Pro est l'un des deux domaines où la diffusion excelle le plus dans ce tableau entier. Cela ne rend pas les 75,9 % faux ou malhonnêtes — c'est un score réel sur un benchmark réel. Mais c'est le benchmark le plus flatteur pour l'architecture, et celeris-1 est explicitement positionné pour les agents et les applications en temps réel, catégorie où DiffusionGemma cède près de 18 %. Un seul chiffre MMLU-Pro ne peut pas dire si celeris-1 partage cette faiblesse ou l'a corrigée par conception. La position honnête est que nous ne le savons pas encore.

Le champ plus large a comblé les lacunes rapidement. Le LLaDA2.2-flash d'Ant Group a fait suivre le décodage par diffusion de travaux agentiques — en ajoutant des opérations d'édition afin que le décodage parallèle puisse insérer et supprimer, pas seulement substituer, ce qui est précisément ce qui permet aux appels d'outils et au JSON de survivre au processus. Lu à l'aune du tableau ci-dessus, c'est une réponse d'ingénierie directe aux faiblesses en sortie structurée et en usage agentique exposées par DiffusionGemma.

Le résultat qui complique le « plus rapide, pas plus intelligent »

Vient ensuite Nemotron-Labs-Diffusion de NVIDIA, qui refuse la prémisse. Plutôt que de choisir entre les architectures, il entraîne un seul jeu de poids sur un objectif conjoint autorégressif et de diffusion, puis change de mode à l'inférence en modifiant uniquement le masque d'attention — causal pour l'AR, bidirectionnel pour la diffusion. Cela permet un troisième mode qui découle naturellement de la conception : le modèle rédige en mode diffusion et vérifie en mode autorégressif, sur un cache KV partagé. Du décodage spéculatif, sans modèle brouillon séparé.

Les résultats de la base 8B sont les chiffres les plus intéressants de tout cet article :

Points de référence issus du même tableau : Qwen3-8B (AR) 71,58 · LLaDA-8B (diffusion pure) 54,92 · Dream-7B (diffusion pure) 65,30

À lire attentivement, car cela remet en cause le cadrage adopté par cet article depuis juin. Le mode diffusion du modèle bat légèrement son propre mode autorégressif — et son mode d'auto-spéculation bat les deux, à 4,7× les tokens par passe avant. Aucune taxe de précision. Le schéma se répète aux autres échelles : à 3B et 14B, le mode diffusion pure coûte un peu de précision (−2,6 et −1,0 point), mais l'auto-spéculation la récupère et dépasse l'AR (+0,3 et +0,7), tout en décodant 5 à 7× plus de tokens par passe avant.

Pendant ce temps, les bases de référence en diffusion pure de cette même comparaison paient cher — LLaDA-8B à 54,92 contre 71,58 pour Qwen3-8B est un écart de 17 points, et le propre mode diffusion de Nemotron bat LLaDA de 17,2 points et Dream-7B de 6,8.

La conclusion honnête est donc plus étroite que « la diffusion est plus rapide mais plus bête ». La taxe de précision semble être le prix à payer pour s'engager dans la diffusion comme mode unique — pour abandonner l'a priori linguistique gauche-à-droite que fournit l'autorégression. Utilisez la diffusion pour rédiger et l'autorégression pour vérifier, et selon ces données, vous conservez la vitesse sans rien sacrifier. C'est exactement ce que suggérait depuis le début le profil de benchmarks inégal de DiffusionGemma : les tâches où il s'effondre sont celles les plus dépendantes d'une structure strictement séquentielle.

Une réserve sur la comparabilité : les tokens par passe avant sont une mesure d'efficacité architecturale, pas la latence en temps réel. Les 158 ms de celeris-1 sont un chiffre produit de bout en bout ; le facteur 7× de Nemotron est une propriété de débit qui doit encore survivre à une véritable pile de service. Et ce sont les chiffres propres à l'article, sur sa propre suite.

NVIDIA a défendu le même argument d'une seconde manière, un mois plus tard. Nemotron-Labs-TwoTower — un modèle réellement différent, souvent confondu avec celui à trois modes — répartit le travail entre une tour de contexte autorégressive figée qui traite les tokens propres de manière causale, et une tour de débruitage par diffusion entraînable qui affine les blocs bruités par attention croisée vers celle-ci. Greffée sur le socle Nemotron-3-Nano-30B-A3B existant, elle conserve 98,7 % de la qualité de la base autorégressive à 2,42× le débit en temps réel. Là où le modèle à trois modes entraîne un seul jeu de poids sur les deux objectifs dès le départ, TwoTower est l'adaptation économique : prendre un modèle AR pré-entraîné déjà existant, le figer, et lui accoler un décodage parallèle.

Deux routes différentes, même conclusion — nul besoin d'abandonner l'autorégression pour obtenir la vitesse de la diffusion.

Ce qui répond à la question soulevée par cette mise à jour. « Le décodage par diffusion est-il viable ? » a été tranché il y a un moment déjà — Inception le commercialise depuis février 2025, et il existe désormais des implémentations de Google, NVIDIA, Ant Group et Celeris. La meilleure question était de savoir si la diffusion reste une classe de modèle distincte choisie pour la latence, ou devient un mode de décodage vers lequel n'importe quel modèle peut basculer — et les deux résultats de NVIDIA constituent les meilleures preuves à ce jour en faveur de la seconde hypothèse. celeris-1 et DiffusionGemma parient sur la diffusion comme architecture. Nemotron parie qu'il s'agit d'un rapport de vitesse.

Liens

• Documentation : DiffusionGemma — ai.google.dev
• Explication de l'architecture : Comment fonctionne DiffusionGemma — ai.google.dev
• Poids : google/diffusiongemma-26B-A4B-it sur Hugging Face
• Inférence locale : NVIDIA RTX AI Garage — Gemma Diffusion
• Mise à jour : Celeris — le décodage par diffusion en production, leurs benchmarks et leur blog
• Mise à jour : Nemotron-Labs-Diffusion (arXiv) — décodage tri-mode autorégressif / diffusion / auto-spéculatif
• Mise à jour : Nemotron-Labs-TwoTower (arXiv) — tour de contexte AR figée + tour de débruitage par diffusion entraînable
• Antériorité : Mercury d'Inception Labs (février 2025, le premier dLLM commercial), son rapport technique, Mercury 2 et Mercury Edit 2