Un système d'IA rédige un article de recherche, cite quarante sources, et huit d'entre elles n'existent pas. Pas mal citées — inventées. Ce n'est pas une hypothèse : c'est le taux d'échec mesuré que le nouvel article de Google rapporte pour les agents de recherche autonomes actuels, et c'est le vrai problème que ScientistOne — publié sur le blog de Google Research sous le nom "Science One Framework" — cherche à résoudre. Pas "une IA peut-elle faire de la recherche", mais "peut-on faire confiance à ce qu'elle affirme avoir fait".
Le mode de défaillance, ce ne sont pas les mauvaises réponses, ce sont les réponses invérifiables
L'article, signé par une équipe de Google Cloud AI Research (Rui Meng, Bhavana Dalvi Mishra, Jiefeng Chen, Chun-Liang Li, Palash Goyal, Mihir Parmar, Yiwen Song, Yale Song, Rajarishi Sinha, Parthasarathy Ranganathan, Burak Gokturk, Jinsung Yoon et Tomas Pfister), a comparé quatre systèmes de recherche autonome existants — Sakana AI-Scientist v2, AutoResearchClaw, DeepScientist et AI-Researcher — sur 75 articles générés, cinq par système et par tâche, sur ADRS (Automated Design of Research Systems), un benchmark d'optimisation de systèmes à cinq tâches : Prism (placement de modèles sur GPU), Cloudcast (optimisation du coût réseau cloud), EPLB (équilibrage de charge pour modèles MoE), LLM-SQL (organisation de données pour la réutilisation du cache de préfixe), et TXN (ordonnancement de transactions). Chaque système de référence présentait au moins une défaillance systématique d'intégrité : des taux de références hallucinées allant jusqu'à 21%, une vérification des résultats ne passant que dans 42% des articles au minimum, et un alignement méthode-code — l'article décrit-il une méthode qui correspond à ce que le code joint exécute réellement — allant de 20% à 80%. Ce ne sont pas des cas limites dans un pipeline par ailleurs solide ; c'est le comportement médian.
Cette distinction compte plus qu'il n'y paraît. Une hypothèse fausse, c'est de la science normale — on la teste et on passe à autre chose. Une citation vers un article jamais écrit, ou un score rapporté que le code ne produit pas, relève d'une autre catégorie d'échec : cela corrompt le dossier même qu'un relecteur humain utiliserait pour repérer la première catégorie d'erreur. On ne peut pas faire de relecture par les pairs pour se sortir d'une bibliographie fabriquée.
Chain-of-Evidence : deux propriétés, vérifiées automatiquement
La solution de Google est un principe de conception, pas un modèle plus gros : Chain-of-Evidence (CoE) exige que chaque affirmation d'un article généré porte une chaîne de preuves enregistrée et traçable, jugée selon deux propriétés — la complétude (chaque affirmation en a-t-elle une) et la correction (la chaîne soutient-elle réellement l'affirmation à laquelle elle est attachée, plutôt que d'exister simplement). ScientistOne est le système construit pour satisfaire ce principe par construction, en maintenant les chaînes de preuves tout au long des trois étapes de la recherche — revue de littérature, découverte de solution, et rédaction de l'article — plutôt qu'en assemblant citations et résultats après coup, ce qui est précisément là où se concentrent les défaillances des systèmes de référence.
La vérification elle-même est automatisée : CoE Audit est la suite de métriques de l'article pour évaluer l'intégrité d'un article généré par IA — mêmes catégories que la répartition des systèmes de référence ci-dessus (références hallucinées, vérification des scores, alignement méthode-code), appliquées de manière uniforme pour que la comparaison ne soit pas notée par un humain selon les propres termes de chaque système.
Le résultat : zéro, pas moins
Sur ce même benchmark de 75 articles et cinq tâches, ScientistOne rapporte zéro référence hallucinée — 0 sur 337 entrées bibliographiques — 12 articles sur 12 réussissant la vérification des scores, et le meilleur score d'alignement méthode-code, 14 sur 15, tout en égalant ou dépassant la performance d'experts humains sur les cinq tâches. Ce n'est pas une amélioration incrémentale par rapport au taux de référence de 21% ; c'est le seul système des cinq à être en tête sur les quatre critères d'intégrité simultanément, ce que l'article attribue directement au fait de construire la chaîne de preuves dès le départ plutôt que de l'ajouter après coup.
Les cinq systèmes ont tourné sur exactement le même modèle de base, standardisé délibérément : les auteurs ont mis chaque système, y compris ScientistOne, sur Gemini 3.1 Pro pour la génération de code du solveur comme pour la rédaction de l'article, précisément pour que l'écart d'intégrité ne puisse pas être écarté d'un revers de main comme "ScientistOne avait juste le meilleur modèle". (Un test de robustesse séparé fait tourner ScientistOne seul sur l'ancien Gemini 3.0 Pro et obtient des scores quasi identiques sur chaque tâche d'ADRS — la preuve que la conception tient indépendamment du modèle sous-jacent, pas la preuve d'un avantage déloyal dans un sens ou dans l'autre.)
Le test de généralisation est le chiffre le plus intéressant pour quiconque doute d'un simple réglage sur benchmark spécifique : appliqué à cinq tâches Kaggle de MLE-Bench (imagerie médicale, reconnaissance fine, perception 3D) plus la compétition en direct Parameter-Golf d'OpenAI, ScientistOne a obtenu deux médailles d'or, deux d'argent et un résultat au-dessus de la médiane, plus l'état de l'art sur Parameter-Golf — sur les mêmes tâches de détection 3D et de Parameter-Golf où le système de référence DeepScientist a obtenu un score de 0,0000 ou n'a tout simplement pas réussi à soumettre une entrée valide.
Les articles vérifiables sont aussi jugés meilleurs
La conclusion la plus contre-intuitive de l'article est que vérifiabilité et qualité perçue ne sont pas en tension — elles évoluent ensemble. Noté par ScholarPeer, un relecteur automatisé, les articles de ScientistOne ont été acceptés 40% du temps (6 sur 15) contre un taux d'acceptation de 13% pour le meilleur système de référence, et ses meilleures soumissions par tâche ont obtenu un score global moyen de 6,6 sur 10 contre 3,4 pour le système suivant. L'article est explicite : ce n'est pas que ScientistOne résout des problèmes plus difficiles — les scores des solveurs sont très proches entre les cinq systèmes — donc tout l'écart de qualité se creuse après la fin du solveur, dans ce que l'étape de rédaction a le droit ou non d'affirmer. La plainte la plus fréquente des relecteurs, pour tous les systèmes y compris ScientistOne, portait sur une faible "solidité" (soundness) : ce sont des articles qui se lisent avec fluidité mais ne résistent pas encore pleinement à un examen méthodologique complet. La vérifiabilité relève le plancher ; l'article reconnaît franchement qu'elle n'a pas encore relevé le plafond.
Où cela se situe dans la stratégie science de Google
ScientistOne n'est pas une sortie isolée — il s'inscrit dans le label Gemini for Science que Google consolide depuis le début de l'année, aux côtés du générateur d'hypothèses AI Co-Scientist (construit sur Gemini 2.0) et du système de découverte d'algorithmes AlphaEvolve. Le fil conducteur commun aux trois est plus étroit que "l'IA aide les scientifiques" : ce sont des systèmes d'IA dont la sortie est structurée pour être vérifiée, pas seulement produite — un tournoi d'hypothèses inspectable dans le cas de Co-Scientist, un programme testé et évolué dans celui d'AlphaEvolve, une chaîne de preuves traçable dans celui de ScientistOne. C'est un pari plus défendable que la capacité brute seule, parce que le véritable goulot d'étranglement pour faire confiance à un agent de recherche autonome n'a jamais été "peut-il trouver quelque chose d'intéressant" — c'est "puis-je vérifier qu'il dit la vérité sur ce qu'il a trouvé", et jusqu'à présent cette vérification était surtout le problème du relecteur humain, à traiter après coup.
À surveiller ensuite
- Le "taux d'hallucination" devient un chiffre de benchmark rapporté pour les agents de recherche, pas seulement pour les chatbots. Un domaine qui suit déjà des classements de précision factuelle pour les modèles grand public commencera à exiger la même chose pour tout ce qui produit un article.
- Les audits façon CoE sont adoptés comme exigence de soumission avant d'être adoptés comme architecture. Il est bien moins coûteux pour une conférence ou une revue d'exiger un score d'intégrité automatisé que d'imposer à chaque laboratoire de reconstruire son pipeline autour des chaînes de preuves.
- "Vérifiable" et "bien écrit" cessent d'être traités comme le même compliment. Les propres données de relecture de l'article montrent des articles fluides et plausibles qui échouent encore sur la solidité — le prochain raffinement de benchmark notera probablement ces deux dimensions séparément plutôt que de les fondre en un seul score de qualité.
- La section limites des auteurs eux-mêmes est une feuille de route, pas un avertissement. Ils signalent que la vérification des références ne porte que sur l'existence (une citation réelle peut encore déformer ce qu'elle affirme), qu'ADRS reste une tranche étroite d'optimisation de systèmes face à des domaines ouverts comme la biologie ou la science des matériaux, et que les faux négatifs d'audit ne sont pas bornés — chaque point se lit comme le prochain article de cette lignée, pas comme une réserve sur celui-ci.
Références : Google Research — article de blog Science One Framework · ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence (arXiv:2605.26340, lu depuis l'article complet) · Hugging Face — page de l'article · Page du projet ScientistOne · The Moonlight — résumé de revue de littérature