2026-08-06

Prime Agent dépasse la ligne humaine de 0,1 point. La vraie histoire est en abscisse.

AIBenchmarksInfrastructureOpen Source🌍 Global

Prime Intellect a publié en open source Prime Agent sous licence MIT — un harnais de codage généraliste, et non spécifique à ARC. Propulsé par Claude Opus 5, il obtient 95,5% sur ARC-AGI-3, en résolvant 179 des 183 niveaux, face à une base experte humaine tracée à 95,4%.

Ignorez la marge. Un dixième de point au-dessus d'une base humaine n'est pas un franchissement, c'est une coïncidence, et y voir un seuil relève exactement du type de traitement que ce benchmark ne cesse de susciter. Trois autres éléments de cette sortie sont, eux, bien réels.

Lisez l'axe des abscisses

Le graphique principal de Prime Intellect trace le score en fonction des tokens de sortie par partie, en échelle logarithmique — la bonne façon de présenter un résultat de harnais, et assez rare pour être saluée. Quatre exécutions et trois lignes de référence :

ExécutionScoreNiveaux résolus
Prime Agent + Claude Opus 595,5%179/183
Prime Agent + GPT-5.6 Sol78,3%164/183
Prime Agent + GPT-5.6 Terra25,7%81/183
Prime Agent + GLM 5.28,6%43/183
Claude Opus 5, harnais officiel ARC-AGI-330,2%
GPT-5.6 Sol, Responses API38,3%
GPT-5.6 Sol, harnais officiel ARC-AGI-313,3%

Quatre lectures que le tableau seul ne donne pas :

L'écart de tokens est de deux ordres de grandeur. Sur les axes de Prime Intellect, la courbe du harnais officiel avec Sol grimpe encore vers ses 13,3% aux alentours de 3 millions de tokens de sortie par partie. Prime Agent, avec le même modèle, franchit ce score sous les 20 000. Mêmes poids, mêmes jeux, une efficacité en tokens environ 100× supérieure — et le résultat des deux réglages d'OpenAI avait déjà montré qu'un facteur 6 était disponible via deux simples interrupteurs d'API.

Sol et Opus 5 n'ont pas la même forme de mise à l'échelle. En dessous d'environ 100 000 tokens par partie, Sol est devant Opus 5 — moins cher, plus vite utile. Après le croisement, Opus 5 continue de grimper tandis que Sol plafonne à 78,3%. Si vous n'aviez jamais testé qu'un budget de 50 000 tokens, vous concluriez que Sol est ici le meilleur modèle, et vous auriez tort à 300 000. Les comparaisons de modèles à budget unique ne valent à peu près rien dès lors que le harnais monte en charge avec le calcul.

Le gain du harnais n'est pas uniforme selon les modèles. Terra obtient 25,7% là où Sol, son frère de la même famille GPT-5.6, atteint 78,3%. Quelle que soit la propriété exploitée par Prime Agent, un modèle d'une famille peut l'avoir et un autre en être dépourvu. « Ce harnais multiplie les modèles par N » n'est pas un énoncé transposable.

GLM 5.2 obtient 8,6%. Il figure au graphique parce que Prime Agent fait tourner indifféremment modèles ouverts et fermés, et publier le chiffre là où votre harnais n'aide presque pas est exactement le comportement qu'on attend d'un résultat auto-déclaré. C'est aussi un écart réel : le substrat en poids ouverts qui comble son retard sur le code et le raisonnement est ici très loin de la frontière.

La divergence entre score et niveaux résolus mérite aussi une ligne : Sol termine 164 niveaux sur 183 — 89,6% — mais score 78,3%, parce que le RHAE élève au carré le ratio d'efficacité d'action et plafonne le crédit par niveau. Tâtonner jusqu'à la victoire se paie. Notons également que la base experte humaine de 95,4% tracée ici relève d'une construction différente de la référence humaine à 100% utilisée dans les documents d'ARC Prize sur la v3 ; les deux ne sont pas interchangeables, une raison de plus de ne pas lire 95,5% comme une ligne franchie.

Le RLM : ne pas mettre les données dans le contexte

L'architecture est un Recursive Language Model — une idée de Zhang, Kraska et Khattab, au MIT CSAIL, publiée en décembre, dont Prime Agent est le premier harnais de production à s'emparer intégralement.

Le principe : plutôt que d'ingérer directement des données d'entrée volumineuses, le modèle reçoit un REPL Python persistant — dans Prime Agent, un noyau IPython persistant comme unique outil — et l'entrée réside dans ce REPL sous forme de variable. Le modèle écrit du code pour l'inspecter, la découper et la transformer, et appelle des sous-LLM depuis l'intérieur du REPL via rlm(...). Les réponses des sous-agents atterrissent dans des variables Python. La réponse finale est renvoyée depuis une variable, et non composée dans le contexte du parent.

Suivez ce que cela implique pour la fenêtre de contexte du modèle parent. Elle contient le prompt système, le prompt utilisateur, son propre raisonnement, et la sortie du REPL qu'il a explicitement choisi d'imprimer. Elle ne contient jamais les données. La fenêtre de contexte cesse d'être un conteneur pour devenir un plan de contrôle — c'est pourquoi l'article d'origine rapporte le traitement d'entrées d'environ deux ordres de grandeur au-delà de la longueur de contexte du modèle, et pourquoi il désigne comme cible le context rot plutôt que les limites de contexte. Non pas « comment en faire tenir davantage », mais « pourquoi est-ce là-dedans ».

Trois harnais, trois théories de la mémoire

Le billet d'hier soutenait que les avancées de harnais de 2026 sont des avancées d'architecture mémoire déguisées, et que VISTA et Schema avaient saturé ARC-AGI-3 depuis des prémisses contradictoires. Prime Agent est la troisième prémisse, et la plus radicale :

HarnaisOù réside l'étatComment le modèle l'atteint
Schemacompilé en un programme-modèle du monde exécutableil l'exécute et le teste rétrospectivement
VISTAstock de pixels sans perte, hors du modèleil ré-inspecte images, régions, pixels
Prime Agentvariables dans un REPL persistantil écrit du code qui les manipule

Schema compile le monde en programme. VISTA refuse de compiler et garde les pixels bruts adressables. Prime Agent refuse de charger le monde et le manipule par référence. Trois réponses incompatibles, toutes au-dessus de 78% sur un benchmark où tous les modèles de pointe scoraient sous 1% au lancement. Le constat commun aux trois est négatif et mérite d'être énoncé clairement : aucun n'a touché à un poids, et leur désaccord vous indique que le benchmark a cessé de discriminer entre architectures au sommet.

La partie qui ne concerne pas ARC du tout

La seconde abstraction est un Continual Harness : prompts supplémentaires, mémoires, descriptions de compétences et spécifications de sous-agents conservés comme un état durable que l'agent met à jour par des révisions étayées par des preuves. La commande /refine lui permet de réécrire ses propres prompts, sa mémoire et ses compétences en cours de tâche, selon ce qui fonctionne ou non. Les compétences sont des paquets Python importables. S'y ajoutent un démon d'arrière-plan dont on peut se détacher puis se rattacher, une messagerie directe entre agents, une compaction automatique, des objectifs persistants et un mode autonome à budgets configurables.

Cela referme une boucle autour de laquelle ce blog tourne depuis un an. Si le harnais est le lieu où réside la mémoire, et si un changement de harnais déplace davantage un score qu'une génération de modèle, alors un harnais qui édite son propre état pratique l'auto-amélioration au niveau de l'échafaudage — sans gradients, sans run d'entraînement, sans poids. C'est le même instinct que Muse Spark 1.1 générant et notant les données d'entraînement de son successeur, déplacé du pipeline d'entraînement vers le runtime, où une itération coûte un appel d'API plutôt qu'un cluster.

C'est aussi, et Prime Intellect le dit dans son propre README plutôt que de l'enfouir, pas un bac à sable de sécurité. Prime Agent exécute du Python généré par le modèle et des commandes projet avec vos permissions utilisateur. Le « tout programmatique » est précisément la propriété qui fait fonctionner le RLM et précisément celle qui fait d'un agent auto-modifiable doté d'un interpréteur vivant quelque chose à exécuter dans un conteneur que vous acceptez de perdre. Les deux faits découlent de la même décision de conception.

À surveiller ensuite

  • Le set privé, encore. Ce sont des chiffres auto-déclarés sur le set public, qui relèvent par construction, chez ARC Prize, du classement communautaire non vérifié — la même réserve que pour Schema et VISTA, et celle qui tranchera pour les trois.
  • C'est la revendication hors-ARC qu'il faut tester. L'affirmation la plus forte de Prime Intellect est que le gain n'est pas spécifique au benchmark : c'est un harnais de codage qui score bien ici par surcroît. C'est vérifiable par quiconque sur des benchmarks de code et d'agentique long-horizon, et contrairement à un score ARC, cela compterait vraiment pour les gens qui livrent du logiciel.
  • Les graphiques en axe de tokens vont se généraliser. Dès lors qu'une équipe publie score-contre-tokens en échelle log et que cela révèle un croisement, un plateau et un écart d'efficacité de 100× qu'aucun chiffre unique ne capture, publier le chiffre unique commence à ressembler à un choix.

Références : PrimeIntellect-ai/prime-agent (MIT) · Prime Intellect — Prime Agent · Zhang, Kraska et Khattab — Recursive Language Models · alexzhang13/rlm · ARC Prize — classement communautaire · couverture liée : Deux harnais résolvent le même benchmark en s'opposant sur la mémoire · ARC-AGI, expliqué · Muse Code de Meta · Le harnais QM de YC