La longueur de contexte est figée à 1M depuis 30 mois

Voici un chiffre tiré du jeu de données de l'arcade qui m'a surprise au moment de le vérifier.

Gemini 1.5 a introduit une fenêtre de contexte d'un million de tokens en février 2024. Onze modèles du jeu de données annoncent aujourd'hui un contexte d'un million de tokens : Claude Opus 5, Inkling, Gemini 3.6 Flash, GLM-5.2, DeepSeek v4 et V4-Flash, MiniMax-M3, Laguna S 2.1 et d'autres encore. Tous les grands laboratoires, trois générations de modèles, trente mois.

Aucun ne l'a jamais dépassé. Sur 242 sorties, le contexte maximal est resté rigoureusement fixé à un million depuis le début de 2024, pendant que le nombre de paramètres passait de 176 milliards à 2 800 milliards et que les prix chutaient de deux ordres de grandeur. Tout le reste a bougé ; ce chiffre-là n'a pas bronché. Le rapport technique de Pokee confirme d'ailleurs ce plateau de façon indépendante dans sa section sur les travaux connexes : les modèles de pointe « ont environ 1M de fenêtre de contexte ».

Aussi, lorsque Pokee-Isaac 28B est sorti en revendiquant dix millions de tokens, la question intéressante n'était pas de savoir si c'était impressionnant, mais si le mur avait jamais été de nature technique.

Pourquoi la barre du million a tenu

Un transformeur décodeur classique applique une attention softmax à chaque couche, et chaque couche conserve un cache clé-valeur proportionnel à la longueur de la séquence. Doublez le contexte, vous doublez le cache — à chaque couche, et pour chaque requête simultanée. Passé le million de tokens, la mémoire mobilisée par une seule conversation dépasse ce qu'on peut lui consacrer sans perdre d'argent : c'est l'économie du service qui cède avant l'architecture. Le million correspond en gros au point où « nous pourrions » et « nous pouvons nous le permettre » cessent de coïncider.

Les laboratoires qui annonçaient un million ne butaient pas sur un plafond de capacité, mais sur un plafond de coût de service.

Le tableau RULER, et comment lire ses zéros

RULER est ici le benchmark décisif, car la longueur de contexte annoncée est la statistique la plus surévaluée de tout le domaine. Il maintient la difficulté de la tâche constante en faisant varier le contexte, ce qui isole la façon dont le contexte utilisable d'un modèle suit son contexte nominal. Pokee a employé la chaîne officielle de préparation des données et la suite de notation de NVIDIA.

* erreur de dépassement de contexte. ˢ auto-déclaré par l'éditeur, non mesuré par Pokee.

Ces zéros demandent une lecture attentive, et le rapport est scrupuleux sur ce point plutôt que de s'abriter derrière eux. Claude Haiku 4.5 plafonne à 200 000 tokens de contexte natif, Qwen 3.5 122B à 262 000 : ils obtiennent 0,0 dès 256 000 parce qu'ils ne peuvent pas accepter l'entrée, et non parce qu'ils auraient essayé et échoué. Nemotron dispose bien d'une fenêtre native d'un million, mais aucune offre commerciale ne le sert au-delà de 262 000.

Dire que « les concurrents échouent au-delà de deux millions » est donc exact, mais flatteur. La version honnête : la plupart des modèles du panel ne disposent tout simplement pas d'une fenêtre aussi longue, et les deux qui atteignent le million — Luna et Gemini Flash Lite — la débordent. Isaac est le seul à rester au-dessus de 93 % sur toute la plage, ce qui demeure un résultat réel, simplement plus étroit que « tous les autres échouent ».

Le discriminant le plus net est MRCR v2, qui répartit plusieurs aiguilles dans une longue conversation et pénalise les interférences entre elles. Isaac obtient 0,607, 0,743 et 0,500 à 256 000, 512 000 et un million de tokens. GPT-5.6 Luna, lui, affiche 95,0 sur RULER à 256 000, puis s'effondre à 0,050 sur MRCR au million. Le rapport en tire lui-même la conclusion : distinguer plusieurs aiguilles est une épreuve autrement plus dure que d'en retrouver une seule. C'est une charge contre le benchmark favori du secteur, formulée par un éditeur qui aurait très bien pu l'omettre discrètement.

Le rapport est plus honnête que son propre marketing

La communication présente Isaac comme le « premier véritable modèle de tout premier plan au monde doté de dix millions de tokens de contexte ». Le rapport technique revendique quelque chose de plus étroit et de bien plus défendable : Isaac « égale ou dépasse les systèmes cloud les plus solides optimisés pour le coût ». Et il explique pourquoi, noir sur blanc :

Nous excluons délibérément les modèles phares de pointe, tels que GPT-5.6 Sol, Claude Opus 5 et Gemini 3.1 Pro, car ils coûtent environ un ordre de grandeur de plus par token, restent strictement hébergés dans le cloud, et répondent à une enveloppe de déploiement fondamentalement différente.

Le panel réunit Luna, Gemini 3.5 Flash Lite, Claude Haiku 4.5, Nemotron 3 Super 120B et Qwen 3.5 122B : des paliers économiques et des modèles ouverts auto-hébergeables. Isaac est de loin le plus petit, avec moins du quart des paramètres des références à poids ouverts.

La méthodologie s'en tient au même niveau d'exigence. Les chiffres auto-déclarés par les éditeurs sont signalés par un exposant et « jamais intégrés à nos moyennes ». Dépassements de contexte, tentatives épuisées et pannes d'infrastructure comptent tous pour zéro, au lieu d'être écartés. Le harnais, les consignes et les paramètres d'échantillonnage restent identiques pour toutes les références. BFCL est vérifié par programme, sans LLM juge. Et l'exécution DTAP s'accompagne d'un seuil de bruit explicite : « les écarts d'ASR par domaine inférieurs à environ ±3 points doivent être considérés comme du bruit ».

Et puis ceci, à propos de leur propre victoire agentique phare — Isaac 70,94 contre 70,61 pour Luna sur BFCL v4 :

La marge sur Luna est de 0,33 point et doit être lue comme une parité plutôt que comme une avance décisive.

Un éditeur qui relativise sa propre victoire de benchmark est assez rare pour être signalé. La partie évaluation est plus rigoureuse que la plupart des rapports d'éditeurs, et que bien des travaux universitaires — ce qui fait d'autant mieux ressortir la seule véritable omission : l'architecture.

Où Isaac gagne et où il perd réellement

Voici le panel agentique complet, plutôt que les seuls faits d'armes :

Le contexte long et la sûreté sont des victoires nettes. L'appel de fonctions est un match nul. L'exécution en ligne de commande et l'orchestration multi-serveurs reviennent à GPT-5.6 Luna. Et même à l'intérieur de τ³, Isaac perd le volet bancaire face à Gemini (0,186 contre 0,203) et le volet télécoms face à Qwen (0,912 contre 0,947).

Une petite incohérence : le rapport affirme que Terminal-Bench est « le seul benchmark de ce rapport où une référence cloud termine devant Isaac », alors que sur MCP-Atlas deux références cloud le devancent. Un lapsus plutôt qu'une déformation — les deux tableaux sont imprimés correctement —, mais la phrase en dit trop.

Comparer les tarifs en contexte long, pas les tarifs affichés

Il est tentant de comparer les 0,15 et 1,00 $ d'Isaac au tarif affiché de GPT-5.6 Luna, soit 0,20 et 1,20 $ — et cette comparaison est fausse. Le rapport explique soigneusement pourquoi : Luna est facturé au double en entrée et une fois et demie en sortie au-delà de 272 000 tokens, ce qui le porte à 0,40 et 1,80 $ aux longueurs réellement évaluées ici. Gemini 3.5 Flash Lite, lui, applique un forfait de 0,30 et 2,50 $.

En contexte long, Isaac revient donc à 0,25 $ de moins que Luna en entrée et 0,80 $ de moins en sortie — et trois des six modèles ne peuvent tout simplement pas être comparés, faute d'être servis à ces longueurs. À noter : le rapport qualifie les tarifs d'Isaac de « provisoires et sujets à confirmation au lancement ». Ils ne sont donc pas définitifs.

Efficacité, et un résultat contre-intuitif

Sur un seul B200, à dix millions de tokens de contexte : 72,9 secondes avant le premier token, 137 200 tokens par seconde en préremplissage, 337 en décodage.

La propriété intéressante, c'est que le débit de préremplissage augmente avec le contexte : environ 42 400 tokens par seconde à un million, contre 137 200 à dix millions, sur le même matériel. Multiplier le contexte par dix ne multiplie donc le délai avant le premier token que par trois environ. Le décodage, lui, reste quasiment plat sur toute la plage, autour de 335 tokens par seconde aux deux longueurs. C'est cette combinaison qui rend la fenêtre réellement utilisable, et pas seulement adressable.

La portabilité est mesurée plutôt que projetée, ce qui est inhabituel :

• Intel Arc Pro B70 : 1 087 à 1 500 tokens par seconde en préremplissage, soit 3,6 à 5 fois le llama.cpp standard sur le même matériel, et 58,8 en décodage, soit 2,3 fois
• Intel Panther Lake, 12 cœurs Xe3 : 150,7 en préremplissage et 22,84 en décodage, entièrement sur la puce, sans GPU dédié
• Qualcomm Snapdragon X2 Elite : 124,95 en préremplissage et 23,54 en décodage, entièrement sur l'appareil
• Adaptation AMD en cours

Sur la suite SuperClaw de Pinchbench (116 tâches), Isaac — 28 Md dense — tournant localement en TP-2 obtient 0,9567 contre 0,929 pour GLM-5 (744 Md MoE, hébergé dans le cloud) et 0,866 pour Qwen3-Coder-Next (80 Md MoE, servi localement).

Ce qui reste non divulgué, et ce que Pokee admet

L'architecture. Le rapport se contente d'un « non exclusivement décodeur » et s'arrête là : pas un mot sur le mécanisme d'attention, pas un mot sur l'organisation de la mémoire. Comme tout le résultat des dix millions de tokens repose sur cette conception tenue secrète, c'est le seul endroit où un rapport technique retient précisément la part technique. Tout le reste est vérifiable ; cela, non.

Nous savons en revanche qu'une partie des poids est affinée à partir de Qwen3.6-27B (Apache 2.0), le reste étant entraîné depuis zéro. C'est le deuxième cas en trois jours d'un produit occidental bâti sur des poids ouverts chinois pris comme substrat, après le Namazu de Sakana fondé sur DeepSeek et Kimi K2.6. Les modèles ouverts chinois deviennent le socle sur lequel les autres entreprises construisent — à Tokyo comme à San Francisco.

Les limites énoncées par le rapport sont d'une franchise inhabituelle, et l'une d'elles est importante :

• Texte uniquement. Ni image, ni audio, ni vidéo, ce qui explique son exclusion des portions dépendantes de la vision de plusieurs benchmarks.
• Le code n'est ni optimisé, ni évalué. « Le code n'était pas une priorité d'entraînement pour notre tout premier modèle Pokee-Isaac, et ce rapport ne l'évalue pas directement… Le classement d'Isaac sur ce point ne doit être lu ni comme une preuve de compétence en programmation, ni comme une preuve du contraire. » Pokee présente d'ailleurs ce point comme la lacune commercialement la plus lourde qu'elle a sciemment laissée de côté.
• L'adaptation matérielle est partielle. AMD en attente.

À quoi cela sert réellement

Le résumé présente l'ensemble comme un argument de souveraineté plus que de benchmark : la capacité agentique en contexte long a jusqu'ici été « fournie presque exclusivement depuis le cloud », ce qui laisse « les environnements réglementés, souverains et embarqués, où les données n'ont pas le droit de quitter le périmètre, totalement démunis ».

Cela place Isaac aux côtés d'A.X K2, de Soofi S et de Namazu — mais en attaquant la souveraineté par l'enveloppe de déploiement plutôt que par la campagne d'entraînement ou la licence. La conclusion contient en outre un argument de second ordre, à signaler à quiconque construit des systèmes d'agents : une bonne part de la machinerie actuelle — hiérarchies de mémoire, compression du contexte, élagage des observations, répartition entre sous-agents — n'existe que pour rationner une ressource rare. Rendez cette ressource abondante à l'intérieur du périmètre, et « une partie de cette machinerie devient facultative plutôt que nécessaire : une trajectoire peut être conservée telle quelle, au lieu d'être compressée, résumée ou découpée ».

Si la fenêtre de 10M se confirme de manière indépendante, c'est là une affirmation plus lourde de conséquences que n'importe quel chiffre des tableaux.

À surveiller ensuite

• Tout se joue sur des exécutions indépendantes de RULER et MRCR à dix millions de tokens. La méthodologie de Pokee est assez solide pour que je m'attende à une réplication réussie — mais s'y attendre n'est pas la même chose que l'obtenir.
• Le plateau du million devrait céder pour tout le monde. Un mur qui tient trente mois tient pour des raisons économiques ; qu'un fournisseur démontre un profil de service capable de le franchir, et le « million de tokens » change de sens.
• Le code est la lacune à surveiller, et Pokee est la première à le dire. L'entreprise ne l'a ni entraîné ni mesuré. Celui qui comblera ce manque sur un modèle à contexte long déployable en local disposera de l'offre complète.
• L'architecture finira-t-elle par être divulguée ? Un rapport v0 peut légitimement la garder pour lui. Une v1 qui la tairait encore enverrait un tout autre signal.