Après avoir ajusté des courbes sur l'ensemble du jeu de données de l'arcade, je voulais éprouver une hypothèse plus précise : les modèles à poids ouverts passeraient dans la catégorie des poids lourds — l'échelle du billion de paramètres — tout en restant compétitifs face au haut du panier fermé et en se monétisant par API. J'ai donc retrouvé le nombre de paramètres de chaque sortie à poids ouverts du corpus : 93 sur 102 élucidées. Les tailles sont désormais stockées dans la base de l'arcade elle-même, sous les champs params_B et active_B, de sorte que les analyses futures les obtiennent gratuitement.
Deux précisions de vocabulaire avant les chiffres. On parle ici de modèles à poids ouverts — des poids téléchargeables sous Apache 2.0, MIT ou licence maison —, ce qui n'est pas la même chose qu'open source au sens plein : poids plus données d'entraînement plus code, critère que seuls OLMo 2, BLOOM et Soofi S remplissent réellement. Et pour les gros modèles, la taille se dit en deux nombres et non en un : les paramètres totaux, c'est-à-dire ce qu'il faut stocker, et les paramètres actifs par token, c'est-à-dire ce qu'il faut calculer — car tout modèle de cette échelle est un mélange d'experts parcimonieux.
Le sommet double tous les 13 mois
Le record de taille des modèles à poids ouverts progresse avec une régularité surprenante : BLOOM 176 Md (2022) → Falcon-180B → Grok-1 314 Md → Llama 3.1 405 Md → DeepSeek-V3 671 Md → Kimi K2 1 000 Md (juillet 2025) → DeepSeek v4 1 600 Md → Kimi K3 2 800 Md (la semaine dernière). Un ajustement exponentiel sur ces records donne une multiplication par 1,9 par an, soit un doublement tous les 12,8 mois environ, avec un R² de 0,91. Par extrapolation, le plus gros modèle ouvert franchirait les 5 000 milliards de paramètres début 2028, et les 10 000 milliards un an plus tard. La publication ouverte annoncée de Qwen3.8, à 2 400 milliards, se placerait presque exactement sur la courbe.
La sortie médiane s'est déplacée elle aussi : 65 Md (2023) → 90 Md (2024) → 235 Md (2025) → 295 Md (2026). Le basculement chez les poids lourds ne concerne donc pas que le sommet : toute la distribution a glissé vers le haut.
L'effet ciseaux de la parcimonie, ou pourquoi « poids gratuits, API payante » fonctionne
Voici le mécanisme qui rend les poids ouverts à l'échelle du billion économiquement rationnels, et non charitables. Depuis début 2024, le nombre total de paramètres des grands MoE ouverts a été multiplié par seize environ. Les paramètres actifs, eux, n'ont pas bougé : ils sont restés dans une bande étroite, entre 30 et 55 milliards, sur toute la période. Grok-1 activait 27 % de ses poids par token ; DeepSeek-V3 a ramené ce chiffre à 5,5 % ; les modèles de la classe billion de 2026 tournent autour de 3 % ; Kimi K3 en active 1,8 %, soit 50 milliards sur 2 800.
Le coût de service suit les paramètres actifs : un modèle de 2 800 milliards de paramètres coûte donc, par token, à peu près autant qu'un modèle dense de 50 milliards. Mais presque personne d'autre ne peut s'offrir les quelque 1,4 To de mémoire d'accélérateur nécessaires pour stocker les poids. Un laboratoire peut ainsi donner les poids et conserver les revenus de son API : l'ouverture comme levier d'image et d'écosystème, l'hébergement comme modèle économique. C'est exactement ce que montrent les données — K3 à 15 $ le million de tokens en sortie, le Coding Plan de GLM, le Token Plan de Qwen, DeepSeek V4 Pro à 1,74 et 3,48 $ le million —, et c'est pourquoi « comparable au fermé, mais disponible en API » n'a rien d'une contradiction. C'est le principe même.
Et ils sont désormais comparables : K2.6 égale GPT-5.5 sur SWE-Bench Pro pour 80 % moins cher, LongCat-2.0 le dépasse franchement (59,5 contre 58,6), K3 se classe troisième sur GDPval, derrière les seuls Fable 5 Max et GPT-5.6 Sol Max — donc devant Opus 4.8. Un suivi indépendant situe les modèles ouverts à environ 90 % de la capacité des modèles fermés pour un coût par appel six fois moindre, les modèles ouverts chinois traitant quelque 18 000 milliards de tokens par semaine contre 5 500 milliards pour les modèles fermés américains.
Le palier du billion : de zéro à catégorie à part entière en douze mois
Aucun modèle ouvert n'avait franchi les 1 000 milliards de paramètres avant juillet 2025. Depuis, on en compte huit : Kimi K2, K2 Thinking, K2.5, K2.6, K2.7-Code, DeepSeek v4, LongCat-2.0 et K3 — auxquels s'ajoutent Inkling, à 975 milliards, qui n'en est pas loin, et Qwen3.8 (2 400 milliards), annoncé.
Mais peut-on vraiment les faire tourner ?
Classons chaque sortie ouverte selon le matériel le moins cher capable de la faire tourner raisonnablement en quantification 4 bits. La règle empirique : environ 0,58 Go par milliard de paramètres — une RTX 4090 de 24 Go accueille donc à peu près 32 milliards de paramètres au total, une 5090 de 32 Go environ 48. Un MoE parcimonieux ne tourne à vitesse utilisable sur processeur que si son nombre de paramètres actifs se compte en quelques milliards : il faut toujours assez de RAM pour tous les poids, mais le calcul par token reste faible.
2026 dessine un haltère : un tiers des sorties ouvertes tient sur une seule carte RTX, un tiers exige un centre de données, et le milieu multi-GPU s'est effondré, de 73 % en 2024 à 24 % en 2026. Le bas du spectre a même vu naître son architecture propre cette année, le MoE embarqué : une trentaine de milliards de paramètres au total pour trois milliards d'actifs. Qwen3.6-35B-A3B atteint 70 à 118 tokens par seconde en 4 bits sur une RTX 5090 ; Soofi S (31,6 Md dont 3,2 actifs, hybride Mamba-2) se quantifie autour de 18 Go, ce qui correspond à un GPU de 24 Go ou à une machine à processeur dotée de 32 Go de RAM ; DiffusionGemma, à 26 milliards, demande 16 Go de VRAM ; Gemma 4 (31 milliards) et Ministral 3 complètent la catégorie. Trois milliards de paramètres actifs, c'est assez peu de calcul pour que l'inférence sur processeur cesse d'être une plaisanterie : les poids tiennent dans de la RAM ordinaire et le travail par token reste à la portée d'un ordinateur portable.
Entre ces deux pôles, il existe bien un entre-deux pour amateurs, mais il est étroit : des quantifications dynamiques à 1,8 ou 2 bits font tourner Kimi K2.5 sur un Mac Studio M3 Ultra de 512 Go à plus de 10 tokens par seconde, et une machine EPYC équipée d'une seule 4090 et d'environ 384 Go de DRAM tient autour de 14 tokens par seconde sur un modèle de classe 671 milliards, en gardant les experts « chauds » sur le GPU et le reste en RAM. L'astuce plafonne à l'échelle de K2. Pour K3, même des quantifications agressives atterrissent entre 650 Go et 1 To, soit « au-delà de tout plafond matériel grand public, Mac Studio de 512 Go compris ».
Ce qu'on en dit en ligne
Les discussions se répartissent exactement selon le même haltère :
- L'enthousiasme : la vague du billion est réelle, majoritairement chinoise, et elle se rapproche du haut du panier américain malgré les limites de calcul — VentureBeat sur K3, Latent Space sur Inkling (« le meilleur modèle ouvert américain sous Apache 2.0 »).
- La critique a désormais un nom : « des poids ouverts que vous ne pouvez pas faire tourner », ouverts sur le papier, inutilisables en pratique. L'avant-première de Qwen3.8 avant publication des poids a donné la formule la plus nette : « le rare lancement où le produit est confirmé réel et où toutes les affirmations de performance à son sujet restent invérifiées ».
- Là où se trouve réellement l'énergie locale : du côté des petits MoE parcimonieux. Soofi S a connu un succès notable pour son débit, et les choix consensuels de r/LocalLLaMA pour une 4090 ou une 5090 sont Qwen3.6-35B-A3B, Gemma 4 et Ministral 3 — aucun modèle à « billion » dans le lot. (Pendant ce temps, l'écosystème débat pour savoir si Ollama s'éloigne trop de llama.cpp.)
- Les contrepoids : le UK AISI mesure que les meilleurs modèles ouverts n'accusent que 4 à 7 mois de retard sur l'état de l'art en capacités cyber, ce qui maintient le débat de sécurité à vif (TechCrunch : « OpenAI a peur des modèles à poids ouverts. Les États-Unis devraient-ils l'être aussi ? ») ; d'autres dénoncent l'open-washing — des poids sans données ni code —, le durcissement des licences et le retrait discret de Meta du terrain des poids ouverts avec Muse Spark.
Prédictions
- Le billion de paramètres deviendra le standard des modèles ouverts phares d'ici la mi-2027. Zéro, puis deux, puis cinq par semestre ; les poids complets de K3 arrivent le 27 juillet, et la publication ouverte de Qwen3.8 est promise.
- Environ 5 000 milliards de paramètres au sommet ouvert début 2028, avec des paramètres actifs restant sous la barre des 100 milliards. La contrainte déterminante deviendra la mémoire nécessaire pour stocker les poids, non la puissance de calcul pour les faire tourner — ce qui renforce le modèle « poids gratuits, API payante », puisque l'auto-hébergement du modèle phare restera hors de portée de presque tout le monde.
- L'haltère va s'accentuer. Attendons-nous à ce que chaque grand laboratoire publie la paire : un modèle phare à l'échelle du billion pour l'API, et un MoE embarqué d'environ 30 milliards de paramètres dont 3 actifs pour la communauté. Le milieu, entre 100 et 700 milliards, continuera de s'amincir : trop gros pour un GPU, trop petit pour être le meilleur.
- L'inférence sur processeur va se banaliser pour la catégorie embarquée. À trois milliards de paramètres actifs, le goulot d'étranglement est la capacité mémoire, pas la puissance de calcul. Un ordinateur portable de 32 Go fait déjà tourner un MoE de classe 30 milliards ; la DDR6 et le déport vers les NPU rendront la chose banale d'ici 2027.
- L'écart de parité se referme par le bas, pas par le haut. Les modèles ouverts l'emportent déjà en volume sur les usages agentiques et la programmation ; les laboratoires fermés gardent la couronne du raisonnement (Opus, GPT-5.x Pro, Gemini Deep Think). Cette répartition — les modèles ouverts comme bêtes de somme, le raisonnement de pointe côté fermé — devrait tenir en 2027.
Les réserves qui s'imposent : neuf points de record constituent un échantillon réduit pour un ajustement ; neuf des 102 sorties ouvertes ont une taille non divulguée (toutes des lancements de produits) ; la règle mémoire en 4 bits est empirique et ignore le surcoût du contexte et du cache clé-valeur ; et toute l'extrapolation suppose que l'offre de calcul — contrôles à l'exportation, disponibilité des ASIC — ne fera pas dévier la courbe. Si LongCat-2.0 s'est entraîné sur 50 000 puces Huawei Ascend, c'est précisément parce que cette hypothèse est fragile.
Méthode : sorties à poids ouverts du jeu de données de l'arcade (102 après les ajouts issus de l'audit), nombres de paramètres collectés modèle par modèle (93 élucidés ; les tailles sont désormais stockées dans le jeu de données), ajustement du sommet par moindres carrés log-linéaires sur les points de record, catégories matérielles établies en quantification 4 bits de type Q4_K_M. Revue des discussions en ligne arrêtée au 21 juillet 2026 ; les sources principales sont liées dans le texte.