Des chercheurs de l'Université Tsinghua, du MIT, de Harvard, de Carnegie Mellon, de Microsoft Research et d'une douzaine d'autres institutions ont publié ASI-Bench — « À l'aube de la superintelligence artificielle » — détaillé dans un article sur arXiv, avec le code sur GitHub et une synthèse de Synced (机器之心), qui a signalé la sortie en premier sur X. Il s'agit d'un benchmark de 60 tâches de recherche de niveau projet réparties sur 11 domaines scientifiques, des mathématiques et de la chimie à la robotique et au génie électrique. Construit par plus de 40 experts du domaine pour un coût rapporté de plus de 31 000 heures humaines, il vise à répondre à une question plus étroite et plus difficile que la plupart des benchmarks scientifiques : non pas si un modèle connaît la bonne réponse, mais s'il peut mener seul un projet de recherche complet à mesure que l'accompagnement humain diminue progressivement.
Ce que B1 à B4 retirent réellement
Chaque tâche d'ASI-Bench conserve fixes le problème de recherche sous-jacent, les données et les critères d'évaluation, et ne fait varier que la quantité d'accompagnement méthodologique fournie à l'agent. En B1, la méthode et la procédure à suivre sont fournies explicitement — l'agent doit surtout mettre en œuvre et exécuter une approche prescrite. En B2, la procédure complète est retirée et l'agent ne reçoit que le nom de la méthode, devant déterminer lui-même comment la mettre en œuvre. En B3, même cela disparaît : l'agent ne voit que les données brutes et l'objectif de recherche, et doit déterminer lui-même le modèle ou la méthode sous-jacente. B4 reprend les conditions de B3 en y ajoutant des informations plausibles mais non pertinentes pour la tâche, afin de tester si les agents restent concentrés face à la distraction. Mener une de ces tâches à bien n'est pas rapide non plus — l'article rapporte en moyenne plus de 2 600 tours d'interaction et 2 400 étapes d'exécution par tâche, sur plus de 35 heures d'exécution de l'agent.
Le vrai verrou : transformer une méthode en procédure, pas la choisir
Sur 18 combinaisons modèle-harnais évaluées, les scores moyens chutent de 50,91 en B1 à 29,10 en B2 puis à 26,62 en B3. L'ampleur de chaque chute est le résultat véritablement intéressant : perdre la procédure détaillée (B1→B2) coûte 21,82 points, tandis que perdre en plus le nom même de la méthode (B2→B3) ne coûte que 2,48 points supplémentaires. L'ajout d'informations distrayantes non pertinentes en B4 n'a quasiment pas fait bouger la moyenne (26,99 contre 26,62). Dans les mots des auteurs eux-mêmes, cela identifie « l'opérationnalisation de la méthode, plutôt que la sélection de la méthode ou la distraction, comme le principal verrou à la recherche scientifique autonome » — les systèmes actuels échouent moins à décider quoi essayer qu'à transformer une approche énoncée en une procédure de recherche exécutable et fonctionnelle.
Aucune configuration ne dépasse 52 %, et dépenser plus n'aide pas de façon fiable
La configuration la plus performante testée — Codex associé à GPT-5.6 Sol (ultra) — est « le seul système évalué à dépasser 50 » dans le cadre B3, entièrement autonome, avec 51,60 %. Claude Opus 5 avec le harnais Claude Code domine largement sous accompagnement complet (72,29 en B1) mais retombe à 40,70 une fois l'accompagnement disparu, un déclin relatif plus marqué que celui de la meilleure configuration GPT-5.6. Le coût ne suit pas non plus la performance de façon nette : Codex avec GPT-5.6 (raisonnement xhigh) atteint un score B3 similaire, 40,86 %, pour environ 684 $ par exécution — environ le quart des 2 728 $ par exécution de Claude Opus 5 pour un résultat quasi identique. Dépenser davantage peut toutefois apporter de réels gains : pousser GPT-5.6 Sol à son niveau de raisonnement le plus élevé (« ultra ») produit le meilleur score B3 du benchmark, pour environ 1 550 $ par exécution.
Le réglage le plus coûteux n'est pas le plus autonome
Les coûts en tokens et en temps se comportent de façon contre-intuitive selon le niveau d'accompagnement. B1 (procédure complète fournie) est le moins cher, avec 4,35 millions de tokens et 37,8 minutes par tâche en moyenne. B3 et B4 — où l'agent doit déterminer sa propre méthode — coûtent respectivement 25 % et 30 % de tokens en plus. Mais c'est B2, et non B3 ou B4, qui est le réglage le plus coûteux de tous : 6,91 millions de tokens et 49,7 minutes par tâche, soit 59 % de tokens et 32 % de temps en plus que B1. Se voir indiquer quelle méthode utiliser sans savoir comment l'exécuter est, selon les auteurs, structurellement la pire combinaison — l'agent est contraint à l'approche choisie par quelqu'un d'autre tout en devant reconstruire de zéro chaque détail procédural.
Le harnais d'agent compte presque autant que le modèle
Un autre résultat mérite d'être signalé à part : un même modèle de base peut obtenir des scores très différents selon l'échafaudage d'agent qui l'entoure. MiMo V2.5 Pro passe de 16,17 avec son propre harnais MiMo Code à 23,25 avec Claude Code ; Kimi K2.7 passe de 19,72 à 27,34 de la même façon. Mais l'effet n'est pas universel — Kimi K3 varie à peine selon les harnais (36,22 contre 37,09). C'est un écho, à plus petite échelle, du même schéma que ce blog vient de couvrir dans les résultats ARC-AGI-3 de GPT-6 Astra : à mesure que les modèles gagnent en capacité, ce qui exigeait autrefois un échafaudage externe se met de plus en plus à se produire à l'intérieur du modèle lui-même, et le harnais cesse d'être le facteur déterminant.
Un processus de construction inhabituellement rigoureux pour un nouveau benchmark
Le récit qu'ASI-Bench fait lui-même de sa construction mérite d'être pris au sérieux comme élément différenciant : plus de 1 300 problèmes de recherche candidats ont été réduits à 60 à travers cinq cycles de relecture par des experts, plus de 1 100 attributions de relecture, plus de 2 000 révisions de tâches, et plus de 1 500 exécutions de validation de bout en bout en environnement isolé, pour repérer les incohérences scientifiques, les évaluations peu fiables ou les raccourcis non intentionnels avant qu'une tâche ne soit retenue dans la version finale. C'est un pipeline de contrôle qualité plus lourd que ce que la plupart des nouveaux benchmarks divulguent, même s'il reste le fruit des choix d'un seul consortium de recherche sur la conception des tâches et la notation — à répliquer de façon indépendante dans la durée plutôt qu'à considérer comme une norme définitive dès sa publication.
À surveiller
- Si les laboratoires de pointe commencent à rapporter spécifiquement les scores B3 d'ASI-Bench, plutôt que le réglage B1, plus facile, auquel ressemblent la plupart des benchmarks existants. Les auteurs présentent B3 comme la véritable mesure de la capacité de recherche autonome — si ce cadrage s'impose, ce sera le chiffre à citer.
- Si le pic de coût de B2 se confirme à mesure que davantage d'agents seront testés sur ASI-Bench, ou s'il s'avère spécifique à la façon dont ces 18 configurations précises gèrent un accompagnement partiel.
- Les contributions extérieures de nouvelles tâches. ASI-Bench sollicite explicitement de nouvelles tâches de la part de la communauté via son site de soumission — savoir si cela élargit réellement la couverture scientifique du benchmark, ou si cela reste principalement le travail du consortium fondateur, déterminera à quel point il sera considéré comme une infrastructure partagée plutôt que comme le classement d'un seul laboratoire.