Le meilleur agent IA reproduit la moitié de l'analyse d'un article de biologie — les propres données d'Edison disent que l'autre moitié est la partie difficile

Edison Scientific — l'essaimage commercial du laboratoire à but non lucratif FutureHouse, dédié à l'IA pour la science, qui avait construit le BixBench original — a présenté BixBench3. Le benchmark demande à des agents IA de reproduire toute la chaîne d'analyse d'un article de biologie computationnelle publié : partir des données expérimentales brutes et produire les mêmes artefacts structurés que les chercheurs d'origine (matrices de comptage de lectures, tableaux d'expression différentielle, résultats d'enrichissement de voies), le tout noté automatiquement par comparaison avec la référence publiée. Edison l'appelle « le benchmark de biologie au plus long horizon rapporté à ce jour », et l'échelle le confirme : une tentative moyenne a duré 6,8 heures, traité 102 millions de tokens, et coûté 43 $ ; la plus grande exécution unique a consommé 1,07 milliard de tokens sur 24 heures pour 525 $.

Ce que le benchmark demande réellement

Chacune des 20 tâches est construite à partir d'un article de style bioRxiv réel, décomposé en un graphe orienté acyclique d'artefacts — 138 au total sur l'ensemble du benchmark, avec une moyenne de 4 à 14 par tâche. Parmi eux, 56 proviennent directement des données brutes (une matrice de comptage de lectures à partir de fichiers .fastq bruts), 44 nécessitent une seconde étape d'analyse (tester l'expression différentielle des gènes), et 38 nécessitent trois étapes ou plus (enrichissement de voies). Les jeux de données vont de 7 à 241 Go. C'est une conception sensiblement différente de la plupart des benchmarks d'agents : le scientifique fournit la question de recherche et un plan méthodologique général, et l'agent est noté sur l'exécution correcte de ce plan à travers chaque étape en aval, pas sur le choix de ce qu'il faut étudier en premier lieu — une limite de portée qu'Edison énonce explicitement plutôt que de la laisser implicite.

Les scores, et à quel point le sommet est réellement serré

Les quatre meilleurs modèles — couvrant OpenAI, Moonshot, Zhipu, et Anthropic — se situent à 0,02 près les uns des autres, ce qui mérite d'être nommé directement : ce n'est pas un laboratoire qui prend l'avantage sur une tâche à long horizon véritablement nouvelle, c'est une quasi-égalité entre des modèles construits de façon très différente. Mais la propre ventilation d'Edison montre que cette proximité cache une vraie divergence en dessous : GLM 5.2 et GPT 5.5 ne diffèrent que de 0,02 dans l'ensemble, mais ont obtenu respectivement 0,5 et 0,25 sur une tâche précise combinant des données ChIP-seq et d'expression génique pour étudier les effets de Polycomb/RING1 chez la Drosophile — un écart du simple au double que le chiffre agrégé efface complètement. Même moyenne, compétence réelle différente.

Où la performance s'effondre réellement

Le constat le plus clair et le plus précis dans les propres données d'Edison : la performance décline à mesure que l'analyse avance en aval. Les artefacts produits directement à partir des données brutes ont obtenu 0,30 en moyenne sur tous les modèles ; ceux nécessitant trois étapes d'analyse ou plus ont obtenu 0,24. C'est la vraie forme du résultat — les agents sont plus fiables à la première étape d'un pipeline qu'aux étapes qui en dépendent, exactement le mode de défaillance attendu lorsque les erreurs s'accumulent le long d'une chaîne d'analyses dépendantes, au lieu de rester indépendantes d'une étape à l'autre.

Le propre étiquetage des modes de défaillance d'Edison (via un juge LLM distinct examinant la trace et les sorties de chaque exécution) confirme cela avec des chiffres : le nombre d'étiquettes de défaillance par exécution est fortement corrélé aux scores bas (ρ de Spearman = −0,92), et la terminaison prématurée et les boucles de nouvelle tentative répétitives en particulier étaient environ 2,0 et 2,2 fois plus fréquentes dans le quart des exécutions les moins bien notées que sur l'ensemble des exécutions. Parmi le quart le mieux noté, une seule exécution sur 65 s'est terminée prématurément et aucune n'est entrée dans une boucle de nouvelle tentative. C'est un diagnostic véritablement utile et précis — pas seulement « le modèle a échoué », mais quels modes de défaillance le prédisent réellement.

Le coût a varié d'un facteur 367, et le moins cher n'était pas pire

Le coût moyen par tâche a varié de 0,35 $ à 129,14 $ selon les modèles — un écart d'un facteur 367 — et la relation entre coût et score n'était pas linéaire. Kimi K3 n'a obtenu que 0,01 de moins que le meilleur modèle tout en coûtant environ 55 % de moins.

Il vaut la peine de le créditer directement : Edison a détecté et divulgué un vrai artefact de mesure dans ses propres données plutôt que de rapporter un chiffre trompeur sans le qualifier. L'accès à GLM 5.2 passait par OpenRouter, qui répartit les requêtes entre plusieurs fournisseurs d'hébergement avec des caches séparés — le taux de succès de cache de GLM 5.2 est donc ressorti à 41,4 % contre 96,0 % pour tous les autres modèles, gonflant son coût mesuré à cause d'un artefact de routage plutôt que d'une véritable inefficacité du modèle lui-même. Edison rapporte à la fois le coût réel payé et une estimation ajustée au même taux de succès de cache que les autres modèles, et déclare clairement que cela « reflète notre configuration OpenRouter plutôt qu'une limitation inhérente à GLM 5.2 ». C'est le genre de réserve de mesure auto-détectée qu'il est facile d'omettre et véritablement utile de divulguer.

La prédiction est celle d'Edison, pas celle du benchmark

La propre annonce d'Edison déclare : « Sur la base de la performance actuelle et du rythme d'amélioration, nous nous attendons à ce que les agents IA soient capables d'écrire des articles seuls (avec des données et un plan général) d'ici aussi peu que 6 mois. » Il vaut la peine d'être précis sur ce sur quoi repose cette affirmation et ce sur quoi elle ne repose pas. Le résultat mesuré est que le meilleur modèle reproduit 48 % des artefacts demandés en moyenne, avec une précision qui décline spécifiquement aux étapes analytiques les plus profondes dont un article entièrement autonome dépendrait le plus — exactement la partie du pipeline où les propres données de BixBench3 montrent le plus de marge à combler. Un délai de six mois vers l'écriture d'articles entièrement autonome est l'extrapolation d'Edison à partir d'une courbe de tendance, pas un chiffre que le benchmark lui-même a mesuré, et cela mérite d'être lu comme une prévision faite par une entreprise dont les propres produits — Kosmos, un système à modèle du monde visant précisément ce genre de cohérence sur un long horizon de recherche, et ether0, un modèle centré sur la chimie — ont un intérêt direct à ce que cette tendance se poursuive.

À surveiller

• Une reproduction indépendante du peloton de tête. Que quatre laboratoires différents se situent à 0,02 près les uns des autres sur un benchmark véritablement difficile et nouveau mérite d'être confirmé comme n'étant pas un artefact de cet ensemble de tâches précis avant d'être traité comme un vrai plafond de capacité.
• L'écart de profondeur d'artefact en particulier. L'écart de 0,30 contre 0,24 entre artefacts superficiels et profonds est le chiffre le plus concret de cette publication pour suivre si les agents referment réellement l'écart de fiabilité en aval dont dépend la prédiction à six mois d'Edison.
• BixBench3 deviendra-t-il un benchmark récurrent, avec des scores suivis dans le temps, à la manière de SWE-bench et des benchmarks de codage comparables ? Un instantané unique ne peut ni confirmer ni réfuter une affirmation de rythme d'amélioration ; une seconde exécution dans six mois le pourrait réellement.

Références : Edison Labs — Benchmarks · FutureHouse — Announcing BixBench (le benchmark original que BixBench3 prolonge) · contenu rapporté à partir du propre texte d'annonce et des graphiques d'Edison Scientific, fournis directement plutôt que récupérés (cet environnement n'a pas pu accéder à la page source de façon indépendante) · couverture liée : Frontier Arcade : tendances et prédictions