2026-08-06

Prime Agent dépasse la ligne humaine de 0,1 point. La vraie histoire est en abscisse.

AIBenchmarksInfrastructureOpen Source🌍 Global

Prime Intellect a publié en open source Prime Agent sous licence MIT — un harnais de codage généraliste, et non spécifique à ARC. Propulsé par Claude Opus 5, il obtient 95,5 % sur ARC-AGI-3, en résolvant 179 des 183 niveaux, face à une référence d'experts humains située à 95,4 %.

Oubliez la marge. Un dixième de point au-dessus d'une référence humaine n'est pas un franchissement, c'est une coïncidence — et y voir un seuil relève exactement du traitement médiatique que ce benchmark ne cesse de susciter. Trois autres éléments de cette publication, en revanche, sont bien réels.

Lisez l'axe des abscisses

Le graphique principal de Prime Intellect trace le score en fonction des tokens de sortie par partie, en échelle logarithmique — la bonne façon de présenter un résultat de harnais, et assez rare pour être saluée. Quatre exécutions et trois lignes de référence :

ExécutionScoreNiveaux résolus
Prime Agent + Claude Opus 595,5 %179/183
Prime Agent + GPT-5.6 Sol78,3 %164/183
Prime Agent + GPT-5.6 Terra25,7 %81/183
Prime Agent + GLM 5.28,6 %43/183
Claude Opus 5, harnais officiel d'ARC-AGI-330,2 %
GPT-5.6 Sol, Responses API38,3 %
GPT-5.6 Sol, harnais officiel d'ARC-AGI-313,3 %

Quatre lectures que le tableau seul ne donne pas :

L'écart de tokens est de deux ordres de grandeur. Sur les axes de Prime Intellect, la courbe du harnais officiel associé à Sol grimpe encore vers ses 13,3 % aux alentours de trois millions de tokens de sortie par partie. Prime Agent, avec le même modèle, franchit ce score en dessous de 20 000. Mêmes poids, mêmes jeux, une efficacité en tokens environ cent fois supérieure — et le résultat des deux réglages d'OpenAI avait déjà montré qu'un facteur 6 était disponible via deux simples interrupteurs d'API.

Sol et Opus 5 ne montent pas en charge de la même façon. En dessous d'environ 100 000 tokens par partie, Sol devance Opus 5 : moins cher, utile plus vite. Passé le croisement, Opus 5 continue de grimper tandis que Sol plafonne à 78,3 %. Qui n'aurait testé qu'un budget de 50 000 tokens conclurait que Sol est ici le meilleur modèle — et se tromperait à 300 000. Les comparaisons de modèles à budget unique ne valent à peu près rien dès lors que le harnais monte en charge avec la puissance de calcul.

Le gain du harnais n'est pas uniforme selon les modèles. Terra obtient 25,7 % là où Sol, son frère de la même famille GPT-5.6, atteint 78,3 %. Quelle que soit la propriété exploitée par Prime Agent, un modèle d'une famille peut l'avoir et un autre en être dépourvu. « Ce harnais multiplie les modèles par N » n'est pas un énoncé transposable.

GLM 5.2 obtient 8,6 %. Il figure au graphique parce que Prime Agent fait tourner indifféremment modèles ouverts et fermés, et publier le chiffre là où votre harnais n'aide presque pas est exactement le comportement qu'on attend d'un résultat auto-déclaré. C'est aussi un écart bien réel : le substrat à poids ouverts qui comble peu à peu son retard sur le code et le raisonnement reste ici très loin du haut du panier.

L'écart entre le score et le nombre de niveaux résolus mérite lui aussi une ligne : Sol termine 164 niveaux sur 183, soit 89,6 %, mais n'obtient que 78,3 %, parce que le RHAE élève au carré le rapport d'efficacité des actions et plafonne le crédit accordé par niveau. Tâtonner jusqu'à la victoire se paie. Notons également que la référence d'experts humains à 95,4 % retenue ici n'est pas construite de la même manière que la référence humaine à 100 % employée dans les documents d'ARC Prize sur la v3. Les deux ne sont pas interchangeables — raison de plus pour ne pas lire les 95,5 % comme une ligne franchie.

Le RLM : ne pas mettre les données dans le contexte

L'architecture est un Recursive Language Model — une idée de Zhang, Kraska et Khattab, au MIT CSAIL, publiée en décembre, dont Prime Agent est le premier harnais de production à s'emparer intégralement.

Le principe : plutôt que d'ingérer directement des données d'entrée volumineuses, le modèle reçoit un REPL Python persistant — dans Prime Agent, un noyau IPython persistant comme unique outil — et l'entrée réside dans ce REPL sous forme de variable. Le modèle écrit du code pour l'inspecter, la découper et la transformer, et appelle des sous-LLM depuis l'intérieur du REPL via rlm(...). Les réponses des sous-agents atterrissent dans des variables Python. La réponse finale est renvoyée depuis une variable, et non composée dans le contexte du parent.

Suivez ce que cela implique pour la fenêtre de contexte du modèle parent. Elle contient le prompt système, le prompt utilisateur, son propre raisonnement, et la sortie du REPL qu'il a explicitement choisi d'imprimer. Elle ne contient jamais les données. La fenêtre de contexte cesse d'être un conteneur pour devenir un plan de contrôle — c'est pourquoi l'article d'origine fait état d'entrées traitées à environ deux ordres de grandeur au-delà de la longueur de contexte du modèle, et pourquoi il vise la dégradation du contexte — le context rot — plutôt que ses limites. La question n'est plus « comment en faire tenir davantage ? », mais « pourquoi est-ce là-dedans ? ».

Trois harnais, trois théories de la mémoire

Le billet d'hier soutenait que les avancées de harnais de 2026 sont des avancées d'architecture mémoire déguisées, et que VISTA et Schema avaient saturé ARC-AGI-3 depuis des prémisses contradictoires. Prime Agent est la troisième prémisse, et la plus radicale :

HarnaisOù réside l'étatComment le modèle l'atteint
Schemacompilé en un programme-modèle du monde exécutableil l'exécute et le teste rétrospectivement
VISTAstock de pixels sans perte, hors du modèleil ré-inspecte images, régions, pixels
Prime Agentvariables dans un REPL persistantil écrit du code qui les manipule

Schema compile le monde en programme. VISTA refuse de compiler et garde les pixels bruts adressables. Prime Agent refuse de charger le monde et le manipule par référence. Trois réponses incompatibles, toutes au-dessus de 78 % sur un benchmark où l'ensemble des modèles de pointe plafonnait sous 1 % au lancement. Le constat commun aux trois est négatif, et mérite d'être énoncé clairement : aucun n'a touché à un seul poids, et leur désaccord montre que le benchmark a cessé de départager les architectures au sommet.

La partie qui ne concerne pas ARC du tout

La seconde abstraction est un Continual Harness : consignes supplémentaires, mémoires, descriptions de compétences et spécifications de sous-agents, conservées comme un état durable que l'agent met à jour par des révisions étayées. La commande /refine lui permet de réécrire ses propres prompts, sa mémoire et ses compétences en cours de tâche, selon ce qui fonctionne ou non. Les compétences sont des paquets Python importables. S'y ajoutent un démon d'arrière-plan dont on peut se détacher puis se rattacher, une messagerie directe entre agents, une compaction automatique, des objectifs persistants et un mode autonome à budgets configurables.

Cela referme une boucle autour de laquelle ce blog tourne depuis un an. Si le harnais est le lieu où réside la mémoire, et si un changement de harnais déplace davantage un score qu'une génération de modèle, alors un harnais capable de modifier son propre état pratique l'auto-amélioration au niveau de l'échafaudage — sans gradients, sans campagne d'entraînement, sans toucher aux poids. C'est la même intuition que Muse Spark 1.1 produisant et notant les données d'entraînement de son successeur, déplacée de la chaîne d'entraînement vers l'exécution, où une itération coûte un appel d'API et non un cluster.

C'est aussi, et Prime Intellect le dit dans son propre README plutôt que de l'enfouir, pas un bac à sable de sécurité. Prime Agent exécute du Python généré par le modèle et des commandes projet avec vos permissions utilisateur. Le « tout par le code » est exactement la propriété qui fait fonctionner le RLM, et exactement celle qui impose d'exécuter un agent auto-modifiable doté d'un interpréteur vivant dans un conteneur que l'on accepte de perdre. Les deux faits découlent de la même décision de conception.

À surveiller ensuite

  • L'ensemble privé, encore. Ce sont des chiffres auto-déclarés sur l'ensemble public, qui relèvent par construction, chez ARC Prize, du classement communautaire non vérifié — la même réserve que pour Schema et VISTA, et celle qui tranchera pour les trois.
  • C'est l'affirmation hors ARC qu'il faut mettre à l'épreuve. Prime Intellect soutient surtout que le gain n'est pas propre au benchmark : c'est un harnais de programmation qui, accessoirement, obtient de bons scores ici. N'importe qui peut le vérifier sur des benchmarks de code et de tâches agentiques de longue haleine — et, contrairement à un score ARC, cela compterait vraiment pour ceux qui livrent du logiciel.
  • Les graphiques en axe de tokens vont se généraliser. Dès lors qu'une équipe publie score-contre-tokens en échelle log et que cela révèle un croisement, un plateau et un écart d'efficacité de 100× qu'aucun chiffre unique ne capture, publier le chiffre unique commence à ressembler à un choix.