Le même modèle, sur trois benchmarks portant le même nom, la même semaine : 97,5 %, 90,4 %, 30,2 %.
Ce sont les scores de Claude Opus 5 sur ARC-AGI-1, -2 et -3 respectivement — les trois vérifiés par l'ARC Prize Foundation, les trois censés mesurer le « raisonnement abstrait ». Cet écart n'est ni du bruit ni un simple réglage de difficulté. Chaque version existe parce que la précédente s'est révélée mesurer quelque chose de plus étroit que ce que ses auteurs visaient. Le récit de cette découverte est le témoignage le plus honnête dont nous disposions sur la distance entre progrès mesuré et progrès réel.
Ce qu'ARC-AGI cherche à mesurer
En novembre 2019, François Chollet, le créateur de Keras, publiait On the Measure of Intelligence, où il soutenait que le domaine ne mesurait pas la bonne chose. Un système qui joue aux échecs à un niveau surhumain ne démontre pas son intelligence : il démontre qu'il sait jouer aux échecs. Chollet proposait de définir plutôt l'intelligence comme une efficacité d'acquisition de compétences : la capacité d'un système à apprendre vite des aptitudes réellement inédites, rapportée aux connaissances et à l'expérience dont il disposait au départ.
L'Abstraction and Reasoning Corpus a été publié comme un instrument concret pour cette définition. Chaque tâche montre quelques paires d'exemples — une petite grille colorée en entrée, sa transformation en sortie — et demande d'inférer la règle et de l'appliquer à une nouvelle grille. En résoudre une suppose de repérer, à partir de deux ou trois démonstrations, une régularité du type « les objets tombent vers le bas » ou « la petite forme prend la couleur de la grande ».
La conception est délibérément hostile à la mémorisation. Il n'existe pas de vaste corpus internet de puzzles de transformation de grilles qui aurait pu être absorbé pendant le pré-entraînement, et les tâches ont été conçues pour résister à toute réduction à un motif statistique apprenable. Les humains les trouvent faciles — la plupart des gens les résolvent en quelques secondes. Cette combinaison est tout l'enjeu : un benchmark où l'écart humain-machine ne peut pas se combler simplement en ayant lu davantage de contenu sur internet.
Chollet a cofondé ARC Prize avec Mike Knoop en juin 2024, formalisé plus tard en fondation à but non lucratif, offrant des prix en argent substantiels pour dépasser le niveau humain — avec l'ouverture du code source exigée pour être éligible.
Comment fonctionne réellement la notation
Cela mérite d'être compris, car le dispositif est d'une transparence rare et il explique les axes de tous les graphiques de cet article. Le dispositif d'évaluation d'ARC Prize pour les versions 1 et 2 est public sur GitHub, sous licence MIT. À la lecture du code : chaque tâche autorise deux tentatives notées et compte pour résolue si l'une des deux reproduit exactement la grille cible. Le « coût par tâche », en abscisse des classements officiels, n'est rien d'autre que le coût d'API cumulé des tentatives divisé par le nombre de tâches. Soit ce qu'il vous en coûterait de refaire l'expérience vous-même.
La protection contre la contamination tient aux jeux de données, non au code. Il y en a quatre : un jeu d'entraînement public (1 000 tâches), un jeu d'évaluation public pour l'expérimentation ouverte, un jeu semi-privé (~120 tâches, nécessairement transmis aux API commerciales pour être noté, portant donc un risque de fuite au fil du temps), et un jeu entièrement privé (~120 tâches) qui n'est envoyé nulle part où cela peut être évité et qui alimente le classement officiel. C'est cette stratification qui transforme l'objection « le modèle avait déjà vu ce casse-tête » en question à laquelle on peut répondre, plutôt qu'en réserve permanente.
ARC-AGI-1, et ce que sa saturation a révélé
La version 1 est restée essentiellement invaincue pendant cinq ans. Puis, en décembre 2024, le o3 d'OpenAI a obtenu 75,7 % en calcul faible et 87,5 % en calcul élevé — franchissant le seuil de niveau humain fixé par ARC Prize.
La réaction de Chollet, ce jour-là, fut remarquablement ambivalente. Il a qualifié cela de « percée significative dans la capacité de l'IA à s'adapter à des tâches inédites », tout en avertissant presque dans la même phrase que « ARC-AGI n'est pas un test décisif pour l'AGI. Réussir ARC-AGI n'équivaut pas à atteindre l'AGI, et, de fait, je ne pense pas que o3 soit déjà une AGI. »
Cette réserve s'est révélée être la moitié la plus importante du propos. L'exécution en calcul réduit coûtait environ 20 $ par tâche ; celle en calcul élevé, qui a produit les 87,5 %, revenait à quelque 3 460 $ par tâche, soit environ 346 000 $ pour l'évaluation complète. Le score provenait d'une recherche massive au moment du test — une force brute appliquée à l'espace des programmes candidats — et non de l'inférence de règle rapide et peu coûteuse que le benchmark entendait récompenser.
Autrement dit, un test conçu pour mesurer une généralisation efficace a été franchi en dépensant une puissance de calcul considérable dans une énumération exhaustive. C'est une vraie prouesse d'ingénierie, et ce n'est pas ce que le test prétendait mesurer. Le benchmark avait une faille, et cette faille, c'était l'argent.
ARC-AGI-2 : combler la faille
Lancée en mars 2025, la version 2 a été explicitement construite contre ce mode d'échec : des tâches résistantes à la recherche de programmes par force brute, exigeant un raisonnement compositionnel et une application de règles dépendante du contexte qui ne cède pas à l'énumération.
La remise à zéro fut brutale et immédiate. o3, auréolé de ses 87,5 % sur la version 1, a obtenu environ 3 % sur la version 2. Quoi qu'ait démontré le résultat de la v1, cela ne s'est presque pas transféré.
ARC Prize a établi la référence humaine de la v2 avec un panel de plus de 400 testeurs : chaque tâche devait être résolue par au moins deux personnes, et le testeur moyen obtenait environ 60 %. Ce chiffre est indispensable pour lire le graphique ci-dessus. Les 90,4 % d'Opus 5 dépassent largement la moyenne humaine, mais le plafond humain sur la v2 est de 100 % par construction, puisque chaque tâche a été vérifiée comme résoluble. En résumé : la v2 n'est plus un mur pour les modèles de pointe, sans être pour autant conquise.
ARC-AGI-3 : ce n'est plus du tout un ensemble de puzzles
La version 3, présentée le 25 mars 2026 lors d'un entretien organisé par Y Combinator avec Chollet et Sam Altman, abandonne complètement le format.
Là où les v1 et v2 se jouent en un coup — voici une grille, rendez-en une autre —, ARC-AGI-3 rassemble des centaines d'environnements interactifs au tour par tour, tous conçus à la main par des créateurs de jeux, et bien plus proches de petits niveaux de jeu vidéo que de casse-tête. Un agent reçoit une grille de couleurs 64×64, un petit ensemble fixe d'actions discrètes, et, élément crucial : aucune instruction, aucun objectif énoncé, aucune explication des règles. Il doit agir, observer ce qui a changé, formuler des hypothèses sur les mécaniques, les tester, construire un modèle fonctionnel de l'environnement, et comprendre ce que signifie même « gagner » — entièrement par l'interaction. Formellement, ce sont des POMDP : des environnements partiellement observables exigeant exploration, planification et mémoire.
La notation repose sur le RHAE, pour Relative Human Action Efficiency. Pour chaque niveau, le score d'un agent vaut (actions humaines ÷ actions de l'agent)², plafonné à 1,15 et normalisé entre environnements. La mise au carré n'est pas anodine : tâtonner jusqu'à la solution en multipliant les actions effondre le score, même si l'on finit par réussir. C'est l'efficacité qui compte, pas seulement le succès.
Les humains s'en sortent naturellement : c'est à peu près ce que l'on fait en découvrant un jeu inconnu. Au lancement, pratiquement tous les modèles de pointe ont obtenu moins de 1 % — Gemini 3.1 Pro à 0,37 %, GPT-5.4 à 0,26 %, Opus 4.6 à 0,25 %, Grok 4.20 à 0 %.
Cet écart relève d'un changement de nature, pas d'un réglage de difficulté. Les grilles statiques demandent si un modèle sait inférer une règle fixe à partir d'exemples. Les environnements interactifs demandent s'il sait construire un modèle du monde et agir en situation d'incertitude réelle — c'est-à-dire ce qu'on attend d'un agent. Rien, dans la résolution des v1 et v2, n'impliquait cette capacité, et les scores proches de zéro l'ont montré sans ambiguïté.
Où en sont réellement les choses
Une version antérieure de cet article désignait un vainqueur sur les v1 et v2. C'était une erreur. Soyons donc précis sur ce que l'on sait réellement, et sur ce que « mener » veut dire pour un benchmark aussi proche de son plafond.
Sur ARC-AGI-1 et -2, il n'y a pas de leader unique et net : un groupe serré se trouve près du sommet et la véritable compétition se joue sur le coût. Le verdict d'ARC Prize lui-même sur les 97,5 % et 90,4 % d'Opus 5 était que ceux-ci sont « compétitifs avec les précédentes performances de l'état de l'art, pour un coût légèrement plus élevé » — au niveau de la pointe, sans s'en détacher. GPT-5.5 en effort élevé est le rival le plus proche sur la v2, à environ 90 % ou proche selon la source ; Gemini 3.1 Pro se situe clairement en dessous des deux, quelque part entre le haut des 60 % et le haut des 70 %. Ces chiffres de rivaux sont délibérément pris avec des pincettes. Les suivis indépendants et le classement officiel d'ARC Prize divergent de plusieurs points, car ils portent sur des jeux d'évaluation différents et à des niveaux d'effort différents. Quand un benchmark approche à ce point de son plafond, la question qui compte n'est plus qui obtient le meilleur score, mais qui l'obtient à 0,70 $ la tâche plutôt qu'à 10 $.
ARC-AGI-3 est l'exception — le seul des trois avec un leader net. Les 30,2 % d'Opus 5 représentent environ quatre fois l'état de l'art précédent, GPT-5.6 Sol en effort de raisonnement maximal à 7,8 %. Tout le reste demeure proche du plancher.
Le hic : le dispositif d'évaluation fait partie du score
Sauf que « Opus 5 obtient 30,2 % » abrège quelque chose de plus précis : Opus 5, exécuté dans le dispositif d'ARC Prize, obtient 30,2 %. La nuance compte énormément.
En juillet 2026, une équipe a présenté Schema, un dispositif qui fait écrire aux modèles de pointe les mécaniques de chaque environnement sous forme de programme exécutable, vérifie ce programme au regard de l'historique enregistré, puis planifie en cherchant à l'intérieur. Résultat annoncé : environ 99 % de RHAE sur l'ensemble public d'ARC-AGI-3, et, dans une comparaison contrôlée, un passage de 42,83 % à 98,98 % pour une base Claude Code sur les 25 jeux publics. Fait notable : le tout avec Opus 4.8 et Fable 5, pas avec Opus 5.
Deux réserves pèsent lourd : ces chiffres sont auto-déclarés et non vérifiés par ARC Prize, et ils portent sur l'ensemble public, non sur l'évaluation semi-privée qui alimente le classement officiel. Les jeux publics sont connus des auteurs du dispositif d'une façon dont les jeux privés ne le sont pas, et c'est précisément entre un ensemble public de 25 jeux et l'ensemble privé que les résultats de benchmark ont coutume de s'effondrer.
Ces réserves mises à part, la tendance ne fait aucun doute, car nous l'avons déjà observée deux fois. Sur ARC-AGI-1, une machinerie de recherche externe alliée à une puissance de calcul considérable s'était convertie en un score que le modèle brut n'atteignait pas. Schema, c'est le même geste sous un autre déguisement : non pas un meilleur modèle, mais un meilleur échafaudage — synthèse d'un modèle du monde, puis recherche de programmes — greffé autour de modèles qui, seuls, obtiennent bien moins. Si ce résultat résiste à une vérification sur l'ensemble privé, la conclusion honnête sera qu'ARC-AGI-3 est en partie vulnérable au même type d'attaque que la v1. Son classement classerait alors des couples modèle-dispositif plutôt que des modèles.
Le détail le plus intéressant n'est pourtant pas le score. L'analyse d'ARC Prize a saisi Opus 5 en train de faire quelque chose d'inédit : traduire la disposition visuelle d'un casse-tête en algèbre explicite. À l'action 23, il décrit une scène par 4_center = 2×axis − 5_center, une équation de symétrie qu'il a dérivée sans qu'on le lui demande. À l'action 248, il l'avait généralisée à deux dimensions : « ghost = reflection about axis strips: br' = 2·br_axis − br, bc' = 2·bc_axis − bc. » Un modèle qui formalise une transformation géométrique en pleine tâche, dans un environnement dont les règles ne lui ont jamais été communiquées, voilà une observation d'une tout autre nature qu'un simple chiffre de benchmark.
Une exception mérite d'être signalée à ceux qui doutent des vertus de la taille : le Tiny Recursion Model, environ 7 millions de paramètres, dépasse sur les v1 et v2 des modèles des milliers de fois plus gros, par simple raffinement récursif de l'état latent. Sur ce type de problème, une architecture bien adaptée peut battre la taille de plusieurs ordres de grandeur.
Ce que cela signifie
L'histoire en trois versions n'est vraiment qu'une seule leçon, apprise deux fois.
La saturation d'ARC-AGI-1 ne signifiait pas ce que les gros titres en disaient. Elle signifiait qu'un benchmark spécifique avait une structure exploitable spécifique, et qu'assez de calcul au moment du test pouvait l'exploiter. Chollet l'avait dit dès le premier jour, et on ne l'a guère écouté. La version 2 a comblé cette faille ; la version 3 a entièrement changé la question — et chaque remise à zéro a révélé que le résultat « résolu » précédent avait été plus étroit qu'il n'y paraissait.
C'est pourquoi ARC-AGI-3 est celui qu'il faut surveiller maintenant — et pourquoi le résultat de Schema mérite d'être surveillé tout aussi attentivement. En ce moment, la v3 est le benchmark le moins saturé de cette famille, et le fait qu'Opus 5 quadruple le plafond tout en dérivant spontanément des équations de réflexion est vraiment difficile à balayer d'un revers de main comme de la mémorisation. Mais un dispositif qui atteint environ 99 % sur l'ensemble public en s'appuyant sur des modèles plus anciens, c'est exactement le signe avant-coureur d'une répétition de l'histoire de la v1 : une capacité qui vient de l'échafaudage et non du modèle, et un chiffre qui monte plus vite que la compréhension.
Ce n'est pas une raison pour être cynique envers le benchmark. C'est un argument pour bien le lire. Ce qu'ARC-AGI mesure réellement bien, c'est l'écart entre un système et un humain sur des tâches que personne n'aurait pu mémoriser — et son histoire en trois versions montre que cet écart se referme à répétition pour des raisons qui se sont révélées moins profondes que le titre ne le laissait entendre. La bonne discipline consiste à se demander, chaque fois qu'un score bondit : est-ce le modèle, ou la machinerie qui l'entoure ? Sur la v1, c'était la machinerie. Sur la v3, nul ne le sait encore.
La réserve de Chollet de 2024 tient toujours, et s'applique désormais à son propre benchmark le plus récent : ce n'est pas un test décisif pour l'AGI. Mais un instrument qui nous prend régulièrement en flagrant délit de confondre machinerie et intelligence rend un vrai service — même si ce qu'il mesure le mieux reste notre propre empressement à crier victoire.