DiffusionGemma : quand la génération de texte cesse d'être séquentielle

DiffusionGemma (diffusiongemma-26B-A4B-it sur Hugging Face) de Google DeepMind est un modèle à poids ouverts qui génère du texte de la même manière que les modèles de diffusion d'images génèrent des pixels — non pas un token à la fois, mais comme un bloc entier progressivement affiné. Il est construit sur le socle Mixture-of-Experts de Gemma 4 26B-A4B (environ 25,2 Md de paramètres au total / 3,8 Md actifs), avec une tête de diffusion greffée sur cette architecture : ce n'est donc pas un modèle conçu de zéro.

Débruiter plutôt que prédire

Un LLM autorégressif standard émet les tokens les uns après les autres, chacun conditionné par tout ce qui précède — ce qui signifie une petite multiplication matricielle par token, et un GPU qui passe le plus clair de son temps à attendre la mémoire plutôt qu'à réellement calculer. DiffusionGemma part au contraire d'un bloc pouvant compter jusqu'à 256 tokens masqués (des espaces réservés) et effectue plusieurs étapes de débruitage itératif sur l'ensemble du bloc à la fois, en utilisant une attention bidirectionnelle pour que les tokens puissent s'informer mutuellement, en avant comme en arrière. Les tokens les plus « confiants » se résolvent en premier et aident à lever l'ambiguïté de ceux encore incertains, si bien qu'un passage « se met au point » en quelques itérations plutôt que d'être figé mot par mot.

En pratique, cela signifie que le modèle peut débruiter l'équivalent de 15 à 20 tokens de sortie par passe avant, au lieu d'un seul — déplaçant le goulot d'étranglement de la bande passante mémoire vers le calcul brut. Effet secondaire intéressant : comme les tokens sont revisités au fil des étapes de débruitage plutôt que figés immédiatement, le modèle dispose de davantage de marge pour se corriger en cours de génération qu'un décodeur strictement gauche-à-droite.

Là où le gain est réel : l'inférence locale, pour un seul utilisateur

L'argument du « goulot d'étranglement déplacé vers le calcul » prend tout son sens dans le cas justement le plus défavorable aux modèles autorégressifs : un lot de taille un, une seule personne qui attend sa réponse. Le RTX AI Garage de NVIDIA a optimisé DiffusionGemma pour les cartes GeForce RTX et RTX PRO ainsi que pour les DGX Spark et DGX Station, et les débits mesurés confirment la promesse : plus de 1 000 tokens par seconde sur un seul H100 en FP8, environ 150 sur DGX Spark et jusqu'à 2 000 sur DGX Station, soit environ quatre fois un modèle autorégressif équivalent dans ce même régime mono-utilisateur. NVIDIA recommande au moins 16 Go de VRAM pour héberger confortablement les paramètres actifs du modèle, et propose une variante quantifiée en NVFP4 pour les configurations locales plus légères.

Plus rapide, pas plus intelligent

La réserve honnête, répétée dans plusieurs analyses indépendantes : DiffusionGemma reste derrière le Gemma 4 autorégressif standard sur les benchmarks établis comme MMLU et les évaluations de code. Il ne s'agit pas d'un gain de capacité, mais d'un autre point sur la courbe latence-débit : l'objectif est de rendre la génération locale instantanée, pas d'améliorer le raisonnement. Avec une fenêtre de contexte de 256 000 tokens, l'appel de fonction natif, la prise en charge de plus de 35 langues et une entrée multimodale sous licence Apache 2.0, le compromis est réellement intéressant pour les bonnes charges de travail. Mais il ne remplace pas le recours au modèle le plus puissant quand la tâche l'exige.

Mise à jour — 25 juillet 2026 : le même pari, désormais en production

Lors de la parution de cet article en juin, DiffusionGemma faisait figure de curiosité isolée. Six semaines plus tard, il est clair qu'il n'était ni le premier ni le dernier : il s'inscrit dans une catégorie qui se construit depuis plus d'un an.

Une correction s'impose sur la question de l'antériorité, que j'avais sous-estimée plus haut. Inception Labs a lancé Mercury Coder en février 2025 — le premier LLM de diffusion à échelle commerciale au monde, quinze mois avant DiffusionGemma. Il est issu du laboratoire de Stefano Ermon à Stanford, qui avait co-écrit les travaux sur la modélisation générative par score sur lesquels repose la diffusion d'images. Mercury Coder Mini et Small ont atteint 1 109 et 737 tokens/s sur un seul H100, soit jusqu'à dix fois la vitesse de modèles autorégressifs optimisés de qualité comparable. Inception a généralisé cela au chat ouvert en juin 2025 et publié un rapport technique. L'entreprise a depuis lancé Mercury 2 — le premier dLLM capable de raisonnement, à 1 009 tokens/s et 1,7 s de bout en bout contre 14,4 s pour Gemini 3 Flash — ainsi que Mercury Edit 2, un modèle conçu uniquement pour la prédiction de « prochaine modification » dans un IDE.

Ce dernier est le produit le plus instructif de la catégorie, car il choisit la tâche pour laquelle la diffusion est réellement la meilleure. La prédiction de la prochaine modification est critique en latence — une suggestion qui arrive après que vous avez déjà tapé la ligne ne vaut rien — et les sorties sont courtes et structurellement contraintes. Exactement le profil où le débruitage parallèle donne le meilleur de lui-même sans révéler ses faiblesses en raisonnement de longue haleine. Il obtient un score de qualité de 75,6 % en 221 ms, devant Claude 4.5 Haiku (71,4 %) et GPT-5.4 Nano (73,5 %). Google a publié un généraliste à poids ouverts pour voir ce dont la diffusion était capable ; Inception a lancé un produit fermé et étroitement ciblé, dont la réponse était déjà connue.

Google n'a donc pas ouvert la catégorie. Ce qu'il a fait, c'est la rendre inspectable — et tout le reste de cette mise à jour en dépend.

Celeris Labs a annoncé celeris-1 le 24 juillet — et le positionnement diffère nettement de celui de Google. DiffusionGemma est une publication de recherche à poids ouverts que l'on télécharge et exécute soi-même ; celeris-1 est un produit d'inférence commercial, le décodage par diffusion derrière une API compatible OpenAI (il suffit de pointer votre SDK existant vers api.celeris.ai et de conserver votre code). L'argument de l'entreprise est d'avoir construit « une nouvelle architecture d'inférence pour les modèles de langage, fondée sur la diffusion, qui atteint une latence et une qualité que les systèmes de diffusion précédents ne pouvaient pas atteindre ».

Leur tableau de benchmarks publié rend le compromis inhabituellement lisible :

Lisez-le comme une frontière : en haut à gauche, on gagne sur les deux tableaux, précision et vitesse. Trois éléments ressortent.

Face à Gemini 2.5 Flash et à Mercury 2, celeris-1 domine sans nuance : meilleure précision et latence plus faible, sans contrepartie. La comparaison avec Mercury 2 est la plus parlante, puisque c'est l'autre modèle de diffusion et le seul de la même classe de latence : celeris-1 le devance de 12 points avec 100 ms de moins. C'est ce duel qui met réellement à l'épreuve l'affirmation « nous avons résolu le problème de qualité de la diffusion », et celeris-1 l'emporte.

Face à GPT-5 et Gemini 3.5 Flash Lite, c'est un véritable compromis : ils sont 6 à 7 points plus précis, et 13 à 16 fois plus lents. Savoir si c'est un bon compromis dépend entièrement de ce que l'on construit. Pour un agent vocal, 158 ms contre 2 secondes fait la différence entre une conversation et une attente ; pour un assistant de recherche, sept points de MMLU-Pro comptent plus que l'un ou l'autre.

Un point à porter au crédit de la méthode : cette colonne base de mesure est plus transparente que la plupart des pages de benchmarks d'éditeurs. Elle révèle aussi que la comparaison est hétérogène — les entrées Gemini sont mesurées de bout en bout, réseau compris, les autres sont rapportées par le serveur, qui l'exclut. Le graphique d'accompagnement précise par ailleurs « budget de raisonnement à zéro : la configuration la plus rapide pour chaque modèle », Mercury 2 étant en mode instantané. C'est une façon défendable de comparer des planchers de latence, mais cela revient à tester les modèles autorégressifs raisonnement désactivé — or personne ne fait tourner GPT-5 ainsi quand la réponse compte vraiment. Tous ces chiffres sont auto-déclarés.

Ce que la divulgation plus complète de DiffusionGemma révèle

C'est ici que disposer des chiffres des deux modèles côte à côte prend tout son sens. Google a publié quinze benchmarks pour DiffusionGemma face à son propre homologue autorégressif de même taille — Gemma 4 26B A4B, même socle, même laboratoire. C'est une expérience contrôlée sur ce que coûte réellement le décodage par diffusion, et la réponse est : cela dépend énormément de la tâche.

Le tableau est cohérent. La restitution des connaissances générales survit presque intacte au débruitage parallèle. Ce qui se dégrade, c'est le raisonnement en plusieurs étapes — AIME perd 19 points —, l'usage agentique d'outils (82 % conservé sur Tau2), la recherche d'information en contexte long et la production de sorties structurées exactes : la distance d'édition d'OmniDocBench plus que double, car reproduire fidèlement une structure de document est précisément ce que « réviser tout le bloc d'un coup » réussit le moins bien.

Voilà qui remet en perspective l'unique chiffre publié par celeris-1 : MMLU-Pro est l'un des deux domaines où la diffusion s'en tire le mieux dans tout ce tableau. Cela ne rend pas les 75,9 % faux ni malhonnêtes — c'est un vrai score sur un vrai benchmark. Mais c'est aussi le benchmark le plus flatteur pour cette architecture, alors que celeris-1 est explicitement positionné pour les agents et les applications temps réel, catégorie où DiffusionGemma perd près de 18 %. Un seul chiffre sur MMLU-Pro ne dit pas si celeris-1 partage cette faiblesse ou l'a corrigée par conception. La position honnête est que nous n'en savons rien.

Le reste du domaine a comblé les manques rapidement. Le LLaDA2.2-flash d'Ant Group a porté le décodage par diffusion vers les tâches agentiques, en ajoutant des opérations d'édition pour que le décodage parallèle puisse insérer et supprimer, et pas seulement substituer — c'est exactement ce qui permet aux appels d'outils et au JSON de survivre au processus. Rapporté au tableau ci-dessus, c'est une réponse d'ingénierie directe aux faiblesses en sortie structurée et en usage agentique révélées par DiffusionGemma.

Le résultat qui complique le « plus rapide, pas plus intelligent »

Vient ensuite Nemotron-Labs-Diffusion, de NVIDIA, qui refuse le postulat de départ. Plutôt que de choisir entre les architectures, il entraîne un seul jeu de poids sur un objectif conjoint autorégressif et de diffusion, puis change de mode à l'inférence en modifiant uniquement le masque d'attention — causal pour l'AR, bidirectionnel pour la diffusion. Cela permet un troisième mode qui découle naturellement de la conception : le modèle rédige en mode diffusion et vérifie en mode autorégressif, sur un cache KV partagé. Du décodage spéculatif, sans modèle de brouillon distinct.

Les résultats de la base 8B sont les chiffres les plus intéressants de tout cet article :

Points de référence issus du même tableau : Qwen3-8B (AR) 71,58 · LLaDA-8B (diffusion pure) 54,92 · Dream-7B (diffusion pure) 65,30

À lire attentivement, car cela remet en cause la lecture que cet article défendait depuis juin. Le mode diffusion du modèle devance légèrement son propre mode autorégressif, et son mode d'auto-spéculation les surpasse tous deux, avec 4,7 fois plus de tokens par passe avant. Aucune perte de précision. Le schéma se répète aux autres échelles : à 3B et 14B, le mode diffusion pure coûte un peu de précision (−2,6 et −1,0 point), mais l'auto-spéculation la récupère et dépasse l'AR (+0,3 et +0,7), tout en décodant 5 à 7 fois plus de tokens par passe avant.

Dans le même comparatif, les modèles de diffusion pure paient le prix fort : LLaDA-8B à 54,92 contre 71,58 pour Qwen3-8B, soit 17 points d'écart — et le mode diffusion de Nemotron devance LLaDA de 17,2 points et Dream-7B de 6,8.

La conclusion honnête est donc plus étroite que « la diffusion va plus vite mais réfléchit moins bien ». La perte de précision semble être le prix du choix exclusif de la diffusion, c'est-à-dire de l'abandon de l'a priori linguistique de gauche à droite qu'apporte l'autorégression. Utilisez la diffusion pour rédiger et l'autorégression pour vérifier, et, selon ces données, vous gardez la vitesse sans rien sacrifier. C'est exactement ce que laissait entrevoir le profil inégal de DiffusionGemma : les tâches sur lesquelles il s'effondre sont celles qui dépendent le plus d'une structure strictement séquentielle.

Une réserve sur la comparabilité : le nombre de tokens par passe avant mesure une efficacité architecturale, pas une latence réelle. Les 158 ms de celeris-1 sont un chiffre produit, de bout en bout ; le facteur sept de Nemotron est une propriété de débit qui doit encore résister à une véritable infrastructure de service. Et ce sont les chiffres de l'article, mesurés sur sa propre batterie de tests.

NVIDIA a défendu le même argument d'une seconde manière, un mois plus tard. Nemotron-Labs-TwoTower — un modèle réellement différent, souvent confondu avec celui à trois modes — répartit le travail entre une tour de contexte autorégressive figée qui traite les tokens propres de manière causale, et une tour de débruitage par diffusion entraînable qui affine les blocs bruités par attention croisée vers celle-ci. Greffée sur le socle Nemotron-3-Nano-30B-A3B existant, elle conserve 98,7 % de la qualité de la base autorégressive à 2,42× le débit en temps réel. Là où le modèle à trois modes entraîne un seul jeu de poids sur les deux objectifs dès le départ, TwoTower est l'adaptation économique : prendre un modèle AR pré-entraîné déjà existant, le figer, et lui accoler un décodage parallèle.

Deux chemins différents, une même conclusion : il n'est pas nécessaire d'abandonner l'autorégression pour obtenir la vitesse de la diffusion.

Ce qui répond à la question soulevée par cette mise à jour. « Le décodage par diffusion est-il viable ? » a été tranché il y a un moment déjà — Inception le commercialise depuis février 2025, et il existe désormais des implémentations de Google, NVIDIA, Ant Group et Celeris. La bonne question était de savoir si la diffusion restera une classe de modèles à part, choisie pour sa latence, ou deviendra un mode de décodage vers lequel n'importe quel modèle peut basculer. Les deux résultats de NVIDIA constituent à ce jour les meilleurs arguments en faveur de la seconde hypothèse. celeris-1 et DiffusionGemma parient sur la diffusion comme architecture ; Nemotron parie qu'elle n'est qu'un réglage de vitesse.