Un système d'IA rédige un article de recherche, cite quarante sources, et huit d'entre elles n'existent pas. Non pas mal référencées : inventées. Ce n'est pas une hypothèse, c'est le taux d'échec mesuré que rapporte le nouvel article de Google pour les agents de recherche autonomes actuels. Et c'est le problème que ScientistOne — présenté sur le blog de Google Research sous le nom de « Science One Framework » — entend résoudre. La question n'est pas « une IA peut-elle faire de la recherche ? », mais « peut-on croire ce qu'elle affirme avoir fait ? ».
La défaillance n'est pas la mauvaise réponse, c'est la réponse invérifiable
L'article, signé par une équipe de Google Cloud AI Research (Rui Meng, Bhavana Dalvi Mishra, Jiefeng Chen, Chun-Liang Li, Palash Goyal, Mihir Parmar, Yiwen Song, Yale Song, Rajarishi Sinha, Parthasarathy Ranganathan, Burak Gokturk, Jinsung Yoon et Tomas Pfister), compare quatre systèmes de recherche autonome existants — Sakana AI-Scientist v2, AutoResearchClaw, DeepScientist et AI-Researcher — sur 75 articles générés, à raison de cinq par système et par tâche. Le cadre est ADRS (Automated Design of Research Systems), un benchmark d'optimisation de systèmes à cinq tâches : Prism (placement de modèles sur GPU), Cloudcast (optimisation du coût réseau dans le cloud), EPLB (équilibrage de charge pour modèles MoE), LLM-SQL (organisation des données pour la réutilisation du cache de préfixe) et TXN (ordonnancement de transactions). Chacun des systèmes examinés présente au moins une défaillance systématique d'intégrité : des taux de références inventées atteignant 21 %, une vérification des résultats qui ne réussit que dans 42 % des articles au mieux, et une cohérence entre la méthode décrite et le code fourni qui varie de 20 % à 80 %. Ce ne sont pas des cas marginaux dans un pipeline par ailleurs solide : c'est le comportement médian.
La distinction compte plus qu'il n'y paraît. Une hypothèse fausse, c'est de la science ordinaire : on la teste et on passe à la suite. Une citation renvoyant à un article jamais écrit, ou un score annoncé que le code ne produit pas, relève d'une tout autre catégorie : cela corrompt le dossier même sur lequel un relecteur humain s'appuierait pour repérer la première erreur. Face à une bibliographie fabriquée, l'évaluation par les pairs n'a plus de prise.
Chain-of-Evidence : deux propriétés, vérifiées automatiquement
La réponse de Google est un principe de conception, pas un modèle plus gros. La chaîne de preuves (Chain-of-Evidence, CoE) exige que chaque affirmation d'un article généré s'adosse à une chaîne de preuves enregistrée et traçable, jugée sur deux critères : la complétude — chaque affirmation en possède-t-elle une ? — et la justesse — cette chaîne soutient-elle réellement l'affirmation à laquelle elle est rattachée, ou se contente-t-elle d'exister ? ScientistOne est le système conçu pour satisfaire ce principe par construction : il maintient les chaînes de preuves tout au long des trois étapes de la recherche — revue de littérature, découverte de la solution, rédaction de l'article — au lieu d'assembler citations et résultats après coup, c'est-à-dire précisément là où les autres systèmes échouent.
La vérification est elle-même automatisée. CoE Audit est la batterie de métriques proposée par l'article pour évaluer l'intégrité d'un article généré par IA : les mêmes catégories que ci-dessus — références inventées, vérification des scores, cohérence méthode-code —, appliquées de façon uniforme, afin que la comparaison ne dépende pas d'un jugement humain rendu selon les critères propres à chaque système.
Le résultat : zéro, et pas « moins »
Sur ce même ensemble de 75 articles et cinq tâches, ScientistOne affiche zéro référence inventée — 0 sur 337 entrées bibliographiques —, 12 articles sur 12 qui passent la vérification des scores et la meilleure cohérence méthode-code, à 14 sur 15, tout en égalant ou dépassant les performances d'experts humains sur les cinq tâches. Il ne s'agit pas d'un progrès marginal par rapport aux 21 % des autres : c'est le seul des cinq systèmes à être en tête sur les quatre critères d'intégrité en même temps. L'article l'attribue directement au fait d'avoir construit la chaîne de preuves dès le départ, plutôt que de la reconstituer ensuite.
Les cinq systèmes ont tourné sur exactement le même modèle de base, et c'est délibéré : les auteurs ont fait fonctionner chacun d'eux, ScientistOne compris, sur Gemini 3.1 Pro, aussi bien pour la génération du code du solveur que pour la rédaction, afin que l'écart d'intégrité ne puisse pas être balayé d'un « ScientistOne avait simplement le meilleur modèle ». Un test de robustesse distinct fait tourner ScientistOne seul sur l'ancien Gemini 3.0 Pro et obtient des scores quasi identiques sur chaque tâche d'ADRS — preuve que la conception tient indépendamment du modèle sous-jacent, et non preuve d'un avantage indu dans un sens ou dans l'autre.
Le test de généralisation est le chiffre le plus parlant pour quiconque soupçonnerait un simple sur-ajustement au benchmark. Appliqué à cinq tâches Kaggle de MLE-Bench (imagerie médicale, reconnaissance fine, perception 3D) ainsi qu'à la compétition en direct Parameter-Golf d'OpenAI, ScientistOne décroche deux médailles d'or, deux d'argent et un résultat au-dessus de la médiane, et établit l'état de l'art sur Parameter-Golf. Et cela sur ces mêmes tâches de détection 3D et de Parameter-Golf où DeepScientist obtenait 0,0000 ou ne parvenait tout simplement pas à soumettre une réponse valide.
Les articles vérifiables sont aussi jugés meilleurs
La conclusion la plus contre-intuitive de l'article, c'est que vérifiabilité et qualité perçue ne s'opposent pas : elles progressent ensemble. Évalués par ScholarPeer, un relecteur automatisé, les articles de ScientistOne sont acceptés dans 40 % des cas (6 sur 15), contre 13 % pour le meilleur des autres systèmes, et ses meilleures soumissions par tâche obtiennent une note globale moyenne de 6,6 sur 10, contre 3,4 pour le suivant. L'article est explicite : ce n'est pas que ScientistOne résout des problèmes plus difficiles — les scores des solveurs sont très proches d'un système à l'autre. L'écart de qualité se creuse donc entièrement après le travail du solveur, dans ce que l'étape de rédaction s'autorise ou non à affirmer. Le reproche le plus fréquent des relecteurs, pour tous les systèmes y compris ScientistOne, portait sur une faible « solidité » méthodologique : ce sont des articles qui se lisent bien mais ne résistent pas encore tout à fait à un examen approfondi. La vérifiabilité relève le plancher ; l'article reconnaît sans détour qu'elle n'a pas encore relevé le plafond.
Où cela s'inscrit dans la stratégie scientifique de Google
ScientistOne n'est pas une publication isolée. Elle s'inscrit dans l'ensemble Gemini for Science que Google constitue depuis le début de l'année, aux côtés du générateur d'hypothèses AI Co-Scientist (bâti sur Gemini 2.0) et du système de découverte d'algorithmes AlphaEvolve. Le fil conducteur est plus précis que « l'IA au service des scientifiques » : ces trois systèmes produisent des résultats structurés pour être vérifiés, et pas seulement produits — un tournoi d'hypothèses inspectable pour Co-Scientist, un programme testé et sélectionné pour AlphaEvolve, une chaîne de preuves traçable pour ScientistOne. Le pari est plus solide que la seule capacité brute, car ce qui bloque la confiance envers un agent de recherche autonome n'a jamais été « peut-il trouver quelque chose d'intéressant ? », mais « puis-je vérifier qu'il dit vrai sur ce qu'il a trouvé ? ». Jusqu'ici, cette vérification incombait au relecteur humain, une fois le travail terminé.
À surveiller
- Le « taux d'hallucination » va devenir un chiffre de benchmark publié pour les agents de recherche, et plus seulement pour les agents conversationnels. Un domaine qui suit déjà des classements d'exactitude factuelle pour les modèles grand public exigera bientôt la même chose de tout ce qui produit un article.
- Les audits de type CoE seront exigés au dépôt avant d'être adoptés comme architecture. Il coûte beaucoup moins cher à une conférence ou à une revue de réclamer un score d'intégrité automatisé que d'obliger chaque laboratoire à refondre son pipeline autour des chaînes de preuves.
- « Vérifiable » et « bien écrit » vont cesser d'être le même compliment. Les données de relecture de l'article montrent des textes fluides et plausibles qui achoppent encore sur la solidité ; la prochaine génération de benchmarks notera sans doute ces deux dimensions séparément plutôt que de les fondre en une seule note.
- La section « limites » des auteurs est une feuille de route, pas une précaution. Ils signalent que la vérification des références ne porte que sur l'existence — une citation réelle peut toujours déformer ce qu'elle affirme —, qu'ADRS ne couvre qu'une tranche étroite d'optimisation de systèmes face à des domaines ouverts comme la biologie ou la science des matériaux, et que les faux négatifs de l'audit ne sont pas bornés. Chaque point se lit comme le prochain article de cette lignée, non comme une réserve sur celui-ci.