ARC-AGI expliqué : pourquoi il en existe trois versions

Le même modèle, sur trois benchmarks portant le même nom, la même semaine : 97,5 %, 90,4 %, 30,2 %.

Ce sont les scores de Claude Opus 5 sur ARC-AGI-1, -2 et -3 respectivement — les trois vérifiés par l'ARC Prize Foundation, les trois censés mesurer le « raisonnement abstrait ». Cet écart n'est pas du bruit ni un simple réglage de difficulté. Chaque version existe parce que la précédente s'est révélée mesurer quelque chose de plus étroit que ce que ses auteurs voulaient, et l'histoire de la façon dont c'est arrivé est le récit le plus honnête dont nous disposions sur l'écart entre progrès des benchmarks et progrès réel.

Ce qu'ARC-AGI cherche à mesurer

En novembre 2019, François Chollet — créateur de Keras — a publié On the Measure of Intelligence, arguant que le domaine mesurait la mauvaise chose. Un système qui joue aux échecs à un niveau surhumain ne démontre pas de l'intelligence ; il démontre des échecs. Chollet a proposé de définir plutôt l'intelligence comme une efficacité d'acquisition de compétences : à quel point un système apprend efficacement de nouvelles capacités réellement inédites, par rapport aux connaissances et à l'expérience préalables dont il partait.

L'Abstraction and Reasoning Corpus a été publié comme un instrument concret pour cette définition. Chaque tâche montre quelques paires d'exemples — une petite grille colorée en entrée, sa transformation en sortie — et demande d'inférer la règle et de l'appliquer à une nouvelle grille. En résoudre une nécessite de remarquer quelque chose comme « les objets tombent vers le bas », ou « la petite forme est recolorée pour correspondre à la grande », à partir de deux ou trois démonstrations.

La conception est délibérément hostile à la mémorisation. Il n'existe pas de vaste corpus internet de puzzles de transformation de grilles qui aurait pu être absorbé pendant le pré-entraînement, et les tâches ont été conçues pour résister à toute réduction à un motif statistique apprenable. Les humains les trouvent faciles — la plupart des gens les résolvent en quelques secondes. Cette combinaison est tout l'enjeu : un benchmark où l'écart humain-machine ne peut pas se combler simplement en ayant lu davantage de contenu sur internet.

Chollet a cofondé ARC Prize avec Mike Knoop en juin 2024, formalisé plus tard en fondation à but non lucratif, offrant des prix en argent substantiels pour dépasser le niveau humain — avec l'ouverture du code source exigée pour être éligible.

Comment fonctionne réellement la notation

Cela vaut la peine d'être compris, car c'est inhabituellement transparent et cela explique les axes de chaque graphique de cet article. Le harnais d'évaluation d'ARC Prize pour les versions 1 et 2 est public sur GitHub sous licence MIT. À la lecture du code source : chaque tâche autorise deux tentatives notées, et est considérée comme résolue si l'une ou l'autre correspond exactement à la grille cible. Le « coût par tâche » — l'axe des x sur les classements officiels — n'est rien de plus exotique que le coût API cumulé de chaque tentative divisé par le nombre de tâches. C'est ce qu'il vous en coûterait pour exécuter la chose vous-même.

La garantie anti-contamination réside dans les jeux de données plutôt que dans le code. Il y en a quatre : un jeu d'entraînement public (1 000 tâches), un jeu d'évaluation public pour l'expérimentation ouverte, un jeu semi-privé (~120 tâches, nécessairement transmis aux API commerciales pour être noté, portant donc un risque de fuite au fil du temps), et un jeu entièrement privé (~120 tâches) qui n'est envoyé nulle part où cela peut être évité et qui alimente le classement officiel. Cette stratification est ce qui fait de « le modèle a déjà vu ce puzzle » une objection à laquelle on peut répondre, plutôt qu'un astérisque permanent.

ARC-AGI-1, et ce que sa saturation a révélé

La version 1 est restée essentiellement invaincue pendant cinq ans. Puis, en décembre 2024, le o3 d'OpenAI a obtenu 75,7 % en calcul faible et 87,5 % en calcul élevé — franchissant le seuil de niveau humain fixé par ARC Prize.

La réaction de Chollet ce jour-là a été notablement à double tranchant. Il a qualifié cela de « percée significative dans la capacité de l'IA à s'adapter à des tâches inédites », tout en avertissant presque dans la même phrase que « ARC-AGI n'est pas un test décisif pour l'AGI. Réussir ARC-AGI n'équivaut pas à atteindre l'AGI, et, de fait, je ne pense pas que o3 soit déjà une AGI. »

Cette réserve s'est révélée être la moitié importante du propos. L'exécution en calcul faible coûtait environ 20 $par tâche ; l'exécution en calcul élevé qui a produit 87,5$ par tâche** — soit environ 346 000 $ pour l'évaluation. Le score provenait d'une recherche massive au moment du test, force brute effectivement appliquée à l'espace des programmes candidats, plutôt que de l'inférence de règle bon marché et fluide que le benchmark était censé récompenser.

Ainsi, un test conçu pour mesurer une généralisation efficace a été battu en dépensant un calcul énorme pour une énumération exhaustive. C'est une véritable prouesse d'ingénierie, et simultanément ce n'est pas la chose mesurée. Le benchmark avait une faille, et la faille, c'était l'argent.

ARC-AGI-2 : combler la faille

Lancée en mars 2025, la version 2 a été explicitement construite contre ce mode d'échec : des tâches résistantes à la recherche de programmes par force brute, exigeant un raisonnement compositionnel et une application de règles dépendante du contexte qui ne cède pas à l'énumération.

La remise à zéro a été brutale et immédiate. o3, fraîchement sorti de ses 87,5 % sur la v1, a obtenu environ 3 % sur la v2. Quoi que le résultat de la v1 ait démontré, cela ne s'est transféré presque pas du tout.

ARC Prize a établi la ligne de base humaine de la v2 avec un panel de plus de 400 testeurs : chaque tâche était résoluble par au moins deux personnes, et le testeur individuel moyen a obtenu environ 60 %. Ce chiffre compte pour lire le graphique ci-dessus — les 90,4 % d'Opus 5 se situent bien au-dessus de la moyenne humaine, mais le plafond humain sur la v2 est de 100 % par construction, puisque chaque tâche a été vérifiée comme résoluble. Le résumé honnête est que la v2 n'est plus un mur pour les modèles de pointe, sans être pour autant totalement conquise.

ARC-AGI-3 : ce n'est plus du tout un ensemble de puzzles

La version 3, lancée le 25 mars 2026 lors d'un fireside chat Y Combinator avec Chollet et Sam Altman, abandonne entièrement le format.

Là où les v1 et v2 se jouent en un coup — voici une grille, retournez une grille — ARC-AGI-3 est une collection de centaines d'environnements interactifs à tour par tour, chacun conçu à la main par des concepteurs de jeux humains, plus proches de petits niveaux de jeu vidéo que de puzzles. Un agent reçoit une grille de couleurs 64×64, un petit ensemble fixe d'actions discrètes, et, élément crucial : aucune instruction, aucun objectif énoncé, aucune explication des règles. Il doit agir, observer ce qui a changé, formuler des hypothèses sur les mécaniques, les tester, construire un modèle fonctionnel de l'environnement, et comprendre ce que signifie même « gagner » — entièrement par l'interaction. Formellement, ce sont des POMDP : des environnements partiellement observables exigeant exploration, planification et mémoire.

La notation se fait par RHAE — Relative Human Action Efficiency. Par niveau, le score d'un agent est (actions humaines ÷ actions de l'agent)², plafonné à 1,15, normalisé entre environnements. La mise au carré compte : tâtonner vers une solution avec des actions supplémentaires fait s'effondrer votre score, même si vous finissez par y arriver. L'efficacité, pas seulement le succès.

Les humains gèrent cela nativement ; c'est à peu près ce qu'est jouer à un jeu inconnu. Au lancement, pratiquement tous les modèles de pointe ont obtenu moins de 1 % — Gemini 3.1 Pro à 0,37 %, GPT-5.4 à 0,26 %, Opus 4.6 à 0,25 %, Grok 4.20 à 0 %.

Cet écart est une différence de catégorie, pas un simple réglage de difficulté. Les tâches sur grille statique demandent si un modèle peut inférer une règle fixe à partir d'exemples. Les environnements interactifs demandent s'il peut construire un modèle du monde et agir dessus dans une incertitude réelle — ce qu'un agent doit réellement faire. Rien dans la résolution des v1 ou v2 n'impliquait cette capacité, et les scores proches de zéro l'ont montré sans ambiguïté.

Où en sont réellement les choses

C'est ici que la première version de cet article s'était trompée — elle nommait un leader sur les v1 et v2 à partir de chiffres que je ne pouvais pas sourcer — laissez-moi donc être précis sur ce qui est réellement connu, et sur ce que « être en tête » signifie même ici.

Sur ARC-AGI-1 et -2, il n'y a pas de leader unique et net : un groupe serré se trouve près du sommet et la véritable compétition se joue sur le coût. Le verdict d'ARC Prize lui-même sur les 97,5 % et 90,4 % d'Opus 5 était que ceux-ci sont « compétitifs avec les précédentes performances de l'état de l'art, pour un coût légèrement plus élevé » — au niveau de la pointe, sans s'en détacher. GPT-5.5 en effort élevé est le rival le plus proche sur la v2, à environ 90 % ou proche selon la source ; Gemini 3.1 Pro se situe clairement en dessous des deux, quelque part entre le haut des 60 % et le haut des 70 %. Je nuance délibérément ces chiffres rivaux : les trackers tiers et le classement propre d'ARC Prize divergent de plusieurs points, car ils mesurent des ensembles d'évaluation différents à des niveaux d'effort différents. Quand un benchmark est aussi proche de son plafond, la question qui compte n'est plus qui obtient le score le plus élevé mais qui y arrive pour 0,70 $la tâche au lieu de 10$.

ARC-AGI-3 est l'exception — le seul des trois avec un leader net. Les 30,2 % d'Opus 5 représentent environ quatre fois l'état de l'art précédent, GPT-5.6 Sol en effort de raisonnement maximal à 7,8 %. Tout le reste demeure proche du plancher.

Le hic : le harnais fait partie du score

Sauf que « Opus 5 score 30,2 % » est un raccourci pour quelque chose de plus précis — Opus 5, exécuté dans le harnais d'ARC Prize, obtient 30,2 %. Cette distinction s'avère compter énormément.

En juillet 2026, une équipe a introduit Schema, un harnais qui fait écrire par des modèles de pointe les mécaniques de chaque environnement sous forme de programme exécutable, vérifie ce programme contre l'historique enregistré, puis planifie en effectuant une recherche à l'intérieur. Leur résultat rapporté : ~99 % de RHAE sur l'ensemble public d'ARC-AGI-3 — et, dans une comparaison contrôlée, faisant passer une base Claude Code de 42,83 % à 98,98 % sur les 25 jeux publics. Fait notable, ils y sont parvenus avec Opus 4.8 et Fable 5, pas avec Opus 5.

Deux réserves pèsent lourd : ces chiffres sont auto-rapportés et non vérifiés par ARC Prize, et ils portent sur l'ensemble public plutôt que sur l'évaluation semi-privée qui alimente le classement officiel. Les jeux publics sont connus des auteurs du harnais d'une manière que les jeux privés ne le sont pas, et l'écart entre un ensemble public de 25 jeux et l'ensemble privé est précisément l'endroit où les résultats de benchmark ont l'habitude de s'effondrer.

Mais en écartant ces réserves, la tendance est sans équivoque, car nous l'avons déjà vue deux fois. Sur ARC-AGI-1, une machinerie de recherche externe combinée à un calcul énorme s'est convertie en un score que le modèle brut ne pouvait pas atteindre. Schema est le même mouvement sous un nouveau déguisement : pas un meilleur modèle, mais un meilleur échafaudage — synthèse de modèle du monde plus recherche de programmes — greffé autour de modèles qui obtiennent des scores bien pires par eux-mêmes. Si ce résultat survit à la vérification sur l'ensemble privé, la conclusion honnête est qu'ARC-AGI-3 est partiellement vulnérable au même type d'attaque que la v1, et que le classement de la v3 classe des paires modèle-harnais plutôt que des modèles.

Le détail le plus intéressant n'est pourtant pas le score. L'analyse d'ARC Prize a observé Opus 5 faisant quelque chose d'inédit : traduire des dispositions visuelles de puzzles en algèbre explicite. À l'action 23, il a décrit une scène comme 4_center = 2×axis − 5_center — une équation de réflexion, dérivée sans y avoir été invité. À l'action 248, il l'avait généralisée à deux dimensions : « ghost = reflection about axis strips: br' = 2·br_axis − br, bc' = 2·bc_axis − bc. » Un modèle formalisant une transformation géométrique en cours de tâche, dans un environnement où les règles ne lui avaient jamais été communiquées, est une observation qualitativement différente d'un simple chiffre de benchmark.

Une exception qui mérite d'être nommée pour les sceptiques de l'échelle : le Tiny Recursion Model, environ 7 millions de paramètres, surpasse des modèles des milliers de fois plus grands sur les v1 et v2 grâce à un pur raffinement récursif de l'état latent. Une architecture adaptée à la tâche peut battre la simple échelle par des ordres de grandeur sur ce type particulier de problème.

Ce que cela signifie

L'histoire en trois versions n'est vraiment qu'une seule leçon, apprise deux fois.

La saturation d'ARC-AGI-1 ne signifiait pas ce que les gros titres en disaient. Elle signifiait qu'un benchmark spécifique avait une structure exploitable spécifique, et qu'assez de calcul au moment du test pouvait l'exploiter. Chollet l'avait dit dès le premier jour et on lui a largement coupé la parole. La version 2 a comblé cette faille ; la version 3 a entièrement changé la question — et chaque remise à zéro a révélé que le résultat « résolu » précédent avait été plus étroit qu'il n'y paraissait.

C'est pourquoi ARC-AGI-3 est celui qu'il faut surveiller maintenant — et pourquoi le résultat de Schema mérite d'être surveillé tout aussi attentivement. En ce moment, la v3 est le benchmark le moins saturé de cette famille, et le fait qu'Opus 5 quadruple le plafond tout en dérivant spontanément des équations de réflexion est vraiment difficile à balayer d'un revers de main comme de la mémorisation. Mais un harnais atteignant ~99 % sur l'ensemble public, en utilisant des modèles plus anciens, est précisément la signature précoce de la répétition de l'histoire de la v1 : une capacité qui provient de l'échafaudage plutôt que du modèle, et un chiffre qui monte plus vite que la compréhension.

Ce n'est pas une raison pour être cynique envers le benchmark. C'est un argument pour bien le lire. Ce qu'ARC-AGI mesure réellement bien, c'est l'écart entre un système et un humain sur des tâches que personne n'aurait pu mémoriser — et son histoire en trois versions montre que cet écart se referme à répétition pour des raisons qui se sont révélées moins profondes que le titre ne le laissait entendre. La discipline utile consiste à demander, chaque fois qu'un score bondit : est-ce le modèle, ou la machinerie qui l'entoure ? Sur la v1, la réponse était la machinerie. Sur la v3, on ne sait pas encore.

La réserve de Chollet de 2024 tient toujours, et s'applique désormais à son propre benchmark le plus récent : ce n'est pas un test décisif pour l'AGI. Mais un instrument qui continue de nous surprendre à confondre machinerie et intelligence fait quelque chose de précieux — même si ce qu'il mesure surtout, c'est notre propre empressement à déclarer victoire.

Liens

• ARC Prize Foundation — classements et résultats actuels
• arcprize/arc-agi-benchmarking — le harnais d'évaluation open source des v1/v2
• Article ARC-AGI-2 et article ARC-AGI-3
• Harnais Schema — le résultat de ~99 % sur l'ensemble public évoqué ci-dessus (auto-rapporté)
• À lire aussi : Le résultat d'ARC-AGI-3 de Claude Opus 5