Le graphique est d'une franchise inhabituelle pour un benchmark. La plupart des classements se contentent d'ordonner les modèles de haut en bas et laissent au lecteur le soin de juger si l'écart entre la troisième et la huitième place vaut la peine d'être payé. OpenDesign Arena trace au contraire le score en fonction du prix sur un axe des x logarithmique, dessine une ligne pointillée au niveau du score de son meilleur candidat économique, et grise en rose tout ce qui se trouve en dessous et à droite. Ce grisé n'a qu'une signification : chaque modèle dans cette zone a obtenu un score égal ou inférieur à un modèle nettement moins cher. Sur les 13 modèles testés, 11 se trouvent dans le rose.
La lecture naturelle de « le modèle le moins cher rejoint presque le plus cher » est une histoire d'ouvert contre fermé : les modèles à poids ouverts rattrapent leur retard, les laboratoires de pointe fermés facturent une prime qu'ils ne peuvent plus pleinement justifier. Cette histoire n'est vraie qu'à moitié. Trier les 13 modèles par licence, plutôt que par score ou par prix, est ce qui explique réellement le graphique — et ce n'est pas l'histoire qu'attendrait l'un ou l'autre camp.
Treize modèles, triés par qui peut voir les poids
Six des treize modèles ici sont à poids ouverts. Sept sont des produits fermés, accessibles uniquement par API.
À poids ouverts : DeepSeek V4.1 Flash et DeepSeek V4-Flash (tous deux sous licence MIT, sur Hugging Face), DeepSeek V4-Pro (MIT — « le choix le moins contraignant disponible », notait ce blog à son lancement), GLM-5.3 Flash (sous licence MIT, et non la licence Apache 2.0 qu'utilisait Z.ai pour ses autres sorties récentes), Hunyuan H4 Preview (le plus récent de Tencent, Apache 2.0, publié sur Hugging Face le 28 août), et Kimi K3 (selon la propre description de Moonshot : le plus grand modèle à poids ouverts à ce jour).
Fermés : GPT-6 Astra et GPT-5.6 Sol (OpenAI, API uniquement), Claude Fable 5.1 (Anthropic, API uniquement), Grok 4.6 (xAI a livré celui-ci avec, selon les propres mots de ce blog au lancement, « aucune annonce de poids ouverts »), Gemini 3.8 Flash (Google, dont la gamme à poids ouverts est commercialisée séparément sous le nom Gemma plutôt que Gemini), Qwen 3.8-Max (le palier phare d'Alibaba, accessible uniquement par API — un point de contrôle ouvert distinct, en texte seul, du modèle sous-jacent existe, mais il a pris deux semaines de retard sur la version API fermée et n'est pas le même produit multimodal benchmarké ici), et Muse Spark 1.3 (le modèle de Meta, livré fermé le 3 septembre après avoir déjà promis, sans les livrer, des poids ouverts pour son prédécesseur Muse Glimmer trois semaines plus tôt — le même langage « poids ouverts... bientôt » recyclé d'un calendrier non tenu à l'autre).
Superposez maintenant cette répartition aux deux points non dominés du graphique. GPT-6 Astra, le meilleur score au prix le plus élevé, est fermé. DeepSeek V4.1 Flash, le modèle le moins cher qui note encore près du sommet, est ouvert. Si l'histoire s'arrêtait là, ce serait une parabole propre : payez une prime pour un modèle de pointe fermé, ou obtenez presque le même résultat presque gratuitement grâce à un modèle ouvert.
Elle ne s'arrête pas là, à cause de ce qui arrive aux onze autres.
Être à poids ouverts n'achète rien en soi
Cinq des six modèles à poids ouverts testés — Hunyuan H4 Preview, DeepSeek V4-Pro, DeepSeek V4-Flash, GLM-5.3 Flash et Kimi K3 — se trouvent dans la zone grisée et dominée, aux côtés des modèles fermés. Être à poids ouverts n'a placé aucun d'eux sur la frontière. Deux de ces cinq sont les propres sorties antérieures de DeepSeek : l'entreprise qui a produit le point de frontière bon marché du graphique a aussi produit deux de ses points dominés, sous la même licence MIT, le même laboratoire, la même famille architecturale générale. DeepSeek V4.1 Flash n'est pas bon marché et capable parce que DeepSeek rend ses modèles ouverts — V4-Pro et V4-Flash sont eux aussi à poids ouverts, et aucun n'échappe au rose. Il est bon marché et capable parce que c'est spécifiquement la plus récente architecture de DeepSeek, construite autour d'une conception encodeur-décodeur que ce blog a couverte en détail à partir de la propre fiche technique de DeepSeek, qui se trouve aussi être à poids ouverts. La licence est accessoire au résultat ; c'est la génération architecturale qui a fait le travail.
Cela compte parce que « à poids ouverts » est souvent traité comme un indicateur de « bon marché et efficace » dans les commentaires du secteur, et ce graphique en est un contre-exemple net : cinq modèles ouverts sur six testés coûtent plus cher et notent moins bien que le sixième. Pour les deux entrées dominées de DeepSeek lui-même, c'est un modèle plus récent qui bat ses propres prédécesseurs. Pour Hunyuan H4 Preview, GLM-5.3 Flash et Kimi K3, c'est plus simple : être à poids ouverts ne leur a acheté aucune compétitivité face au modèle d'un laboratoire rival, ouvert ou fermé. La licence ne dit rien sur le côté de cette ligne où tombe un modèle ouvert donné.
Être fermé n'achète pas non plus la frontière
Le cas miroir est tout aussi net. Cinq des sept modèles fermés — GPT-5.6 Sol, Grok 4.6, Qwen 3.8-Max, Gemini 3.8 Flash et Muse Spark 1.3 — se trouvent eux aussi dans la zone grisée. Payer pour un accès API à un modèle fermé n'a acheté à aucun d'eux une place hors de la zone dominée non plus. Seul GPT-6 Astra, parmi sept produits fermés, a mérité son prix sur ce benchmark précis.
Muse Spark 1.3 en est la version la plus nette. Il est fermé, et Meta a désormais dit deux fois à ses propres utilisateurs que des poids ouverts arrivaient, sans donner de licence ni de date — d'abord pour Muse Glimmer en août, puis à nouveau pour Spark 1.3 trois semaines plus tard, en reprenant un langage quasi identique les deux fois. Un modèle fermé aujourd'hui, avec une promesse non tenue de l'ouvrir, et qui note dans la moitié inférieure de ce graphique à un prix supérieur au point de frontière à poids ouverts, ne bénéficie d'aucun des avantages habituels que revendique l'un ou l'autre camp du débat ouvert/fermé : ni la transparence et le faible coût que mettent en avant les défenseurs de l'ouverture, ni la prime de performance censée justifier de rester fermé.
Ce qui sépare réellement les deux points des onze autres
Aucun des onze modèles dominés ne l'est à cause de sa licence. Ils sont dominés parce que, sur ce benchmark précis — construire des applications web, des tableaux de bord et des pages d'atterrissage, noté selon un barème sur 100 points partagé entre la satisfaction des exigences et la qualité du design — une architecture plus récente d'un laboratoire (le V4.1 Flash de DeepSeek) et une autre, plus grande et plus chère, d'un autre laboratoire (le GPT-6 Astra d'OpenAI) battent toutes les deux tout ce qui a été testé, y compris les autres produits de leurs propres fabricants et les sorties fermées comme ouvertes de tous les autres. DeepSeek V4.1 Flash atteint 98 % du score de GPT-6 Astra pour 1,4 % de son prix — 81,2 contre 82,7, à 0,023 $ par design terminé contre 1,61 $ — tandis que Claude Fable 5.1, un modèle fermé facturé 3,66 $ par design, note moins bien que le modèle ouvert pour plus de 150 fois son coût. C'est la forme réelle d'un graphique de type Pareto : un modèle gagne une place hors de la zone dominée en battant la frontière sur au moins un axe, et les onze modèles entre les deux — cinq ouverts, six fermés une fois Astra et V4.1 Flash mis de côté — n'y parviennent tout simplement pas, indépendamment de qui peut voir leurs poids.
Ce qui a réellement été testé, et par qui
OpenDesign Arena note les modèles sur du travail de design front-end ordinaire : applications web, tableaux de bord, écrans mobiles, pages d'atterrissage, construits à partir d'un cahier des charges. Chaque artefact terminé est noté sur 100. La première vérification est mécanique et intervient avant toute notation — le harnais charge le code généré dans une instance Chromium sans interface, et une fenêtre d'affichage vide, un import cassé, un bloc markdown non rendu, ou une exception JavaScript non interceptée produit un zéro automatique. Seul le code qui survit à ce filtre est noté.
Sur les 100 points disponibles pour un artefact survivant, 30 vont à la satisfaction des exigences — la présence des pages, contenus, états et interactions requis — et 70 vont à la qualité du design : mise en page, hiérarchie, adéquation au style, couleur et contraste, pertinence des images. Cette seconde catégorie est l'endroit où un benchmark de ce genre devient d'ordinaire flou, et la réponse d'OpenDesign est un juge LLM validé face à des évaluateurs humains plutôt que laissé à se noter lui-même sans contrôle. Dans une étude de fiabilité séparée, dix évaluateurs humains (trois professeurs et sept doctorants) et un juge GPT ont chacun réalisé des comparaisons par paires des mêmes sorties. Les deux humains étaient d'accord entre eux 68,7 % du temps ; le juge GPT était d'accord avec le panel humain 80,9 % du temps — un taux plus élevé que celui obtenu par les humains entre eux. Cela dit que le juge est au moins aussi cohérent que le panel qui le contrôle, pas que l'un ou l'autre mesure une vérité de référence indiscutable, mais c'est une validation réelle et vérifiable plutôt qu'une affirmation non étayée.
La couverture indépendante de cette mise à jour du classement converge étroitement sur trois points de données — la barre que ce blog applique pour un chiffre tiers qu'il ne peut pas extraire directement de la source primaire, puisque le site d'OpenDesign lui-même ne s'est pas chargé pour ce billet et que les chiffres ci-dessous proviennent de plusieurs médias citant le même tableau :
- GPT-6 Astra : moyenne de 82,7 (26,5/30 satisfaction des exigences, 56,2/70 qualité du design), 1,61 $ par design, 11,1 minutes.
- DeepSeek V4.1 Flash : moyenne de 81,2, 0,023 $ par design, 5,3 minutes.
- Claude Fable 5.1 : moyenne de 80,3, 3,66 $ par design, 12,8 minutes.
Ce billet n'attribuera pas aux dix autres modèles des scores précis qu'il n'a pas pu vérifier face au propre tableau d'OpenDesign, mais leur ordre relatif et leur regroupement approximatif se lisent directement sur le graphique, et le statut ouvert/fermé indiqué ci-dessus provient de la propre couverture antérieure de ce blog et de la licence publiée par chaque fabricant, pas d'OpenDesign.
Le benchmark lui-même n'est pas neutre sur cette question
Il vaut la peine d'être aussi sceptique envers OpenDesign que ce blog le serait envers le graphique d'un laboratoire, mais pour une raison différente de d'habitude. OpenDesign est le produit open source, sous licence Apache, de nexu-io : un outil de design local-first, présenté comme une alternative à Claude Design, qui transforme un agent de codage en moteur de design et fonctionne en BYOK (apportez votre propre clé) avec plus de 20 fournisseurs de modèles différents. Une entreprise dont toute la proposition de valeur du produit est « branchez le modèle que vous voulez, peu importe lequel » a un réel intérêt commercial à ce qu'un titre du genre « l'option ouverte bon marché est aussi bonne à 98 % pour 1,4 % du prix » circule — c'est exactement l'argumentaire d'un outil indifférent au modèle, indépendamment de sa véracité. Ce n'est pas que l'incitation déforme nécessairement la partie automatisée et mécanique du score, et l'étude de validation humaine est une méthodologie réelle et vérifiable, pas une simple affirmation marketing isolée. Mais le modèle économique du sponsor d'un benchmark est une donnée, de la même façon que le propre graphique de lancement d'un laboratoire en est une, et un vendeur d'outil BYOK bénéficie davantage du fait que « l'ouverture gagne sur le coût » soit largement cru que du constat réel, plus nuancé, établi ici — que la licence ne prédit presque rien, et que seuls deux modèles précis sur treize, un ouvert et un fermé, valent la peine d'être choisis.