Anthropic a publié deux résultats issus de ce qu'elle appelle Claude Science : une campagne autonome de conception de liants protéiques, et une tâche d'analyse en laboratoire de chimie. Le résultat sur la conception protéique mérite une lecture attentive, car il est vérifié indépendamment plutôt qu'auto-évalué — une distinction que ce blog a déjà signalée comme la différence entre une affirmation de fournisseur et une preuve, tout récemment quand les propres affirmations mathématiques d'OpenAI ont eu besoin de l'aval d'un mathématicien pour être prises au sérieux après une précédente exagération, et ici ce rôle est tenu par deux laboratoires sous-traitants externes qui ont réellement mené les tests en paillasse. Une réserve prime sur tout ce qui suit : il s'agit d'un billet de recherche auto-publié et d'une paire de rapports techniques d'accompagnement, pas d'un article évalué par les pairs. Des tests en laboratoire indépendants et une publication complète des données sont de vraies étapes vérifiables vers la crédibilité scientifique, mais elles ne remplacent pas un examen formel de la méthodologie et des conclusions par des experts extérieurs — cette étape, si elle a lieu, n'a pas encore eu lieu.
Ce qui a été testé, et par qui
Claude — spécifiquement Mythos Preview et Opus 4.8 — a été lâché sur la conception de liants protéiques de novo : créer à partir de rien de petites protéines qui s'accrochent à une cible spécifique, une étape qui coûte historiquement des semaines à des mois à un ingénieur en protéines par cible. Sur 15 cibles, Claude a produit 1 320 conceptions, et Adaptyv Bio et Twist Bioscience — des sous-traitants externes indépendants, pas Anthropic — les ont physiquement synthétisées et testées en laboratoire. C'est le détail porteur : les chiffres de taux de réussite et d'affinité viennent ici de quelqu'un qui n'a aucun intérêt dans le résultat pour le confirmer ou l'infirmer, pas du propre benchmark d'Anthropic.
Les taux de réussite phares : 22,6 % pour Opus 4.8 et 26,7 % pour Mythos Preview lorsque les deux ont conçu contre les 15 cibles simultanément en une seule session de 48 heures, montant à 35,1 % pour Mythos Preview lorsqu'il a travaillé une cible à la fois lors de sessions parallèles de 24 heures. La référence énoncée par Anthropic pour le domaine est de 10 à 15 %. À noter cependant que la comparaison mono-cible n'est pas tout à fait équitable : le mode mono-cible a donné à Mythos Preview 24 heures dédiées par cible, contre 48 heures réparties sur les 15 en mode multi-cibles — nettement plus de temps de session et de calcul par cible, pas seulement un changement de stratégie. L'amélioration est réelle, mais une partie tient aux ressources allouées, pas seulement à la concentration.
Claude n'a pas replié de protéines lui-même — il a orchestré les outils qui le font
Un avis différent, plus favorable, est venu d'Ankit Gupta, associé chez Y Combinator, sur X : « ce qui est intéressant là-dedans, c'est que tous les outils de conception protéique que Claude a utilisés sont open source... à mesure que les outils open source de conception protéique deviennent vraiment bons, nous allons voir l'intelligence nécessaire pour concevoir des liants de plus en plus démocratisée, parce que des outils comme Claude sont assez intelligents pour les utiliser. » C'est directement confirmé par la propre description de la campagne par Anthropic : « Claude a fait cela en pilotant des modèles spécialisés de conception protéique et de co-repliement, publiquement disponibles, que le domaine utilise déjà. » D'après les données de la campagne, la chaîne de conception de Claude a mobilisé sept outils de conception structurelle — PXDesign, RFdiffusion3, Genie 3, FreeBindCraft, BoltzGen, RFdiffusion et Proteina-Complexa sont ceux qui reviennent en volume significatif — dont les résultats alimentaient ensuite des outils de conception de séquence (SolubleMPNN a traité la grande majorité des conceptions, SolubleCaliby, la conception conjointe native et ProteinMPNN intervenant plus rarement), avant plusieurs tours d'optimisation in silico et, seulement alors, le passage en laboratoire humide. Les conceptions issues de FreeBindCraft affichent le meilleur taux de réussite de toutes les méthodes de conception structurelle employées en volume substantiel : un détail précis et vérifiable, plutôt qu'un vague « la chaîne a bien fonctionné ».
Un détail du message de Gupta que je n'ai pas pu recouper avec les données disponibles : il cite nommément ESMFold2 parmi les outils employés dans cette campagne. Les documents d'Anthropic évoquent dix prédicteurs de structure pour les prédictions co-repliées sans tous les nommer un à un dans les sections auxquelles j'ai eu accès ; cette affirmation précise est donc plausible, mais elle n'est pas confirmée ici. Le point plus large — que la contribution de Claude est l'orchestration de modèles spécialisés open source existants plutôt qu'un modèle de bout en bout effectuant lui-même le repliement et la génération en interne — est exact et mérite d'être mis en perspective avec la critique du « projet d'étudiant » ci-dessus : que l'on lise cette campagne comme une preuve de la propre capacité scientifique de Claude ou comme une preuve qu'un modèle généraliste capable peut désormais diriger une chaîne d'outils open source existante de façon compétente et à grande échelle dépend de laquelle de ces deux affirmations on juge la plus intéressante. Les deux lectures sont compatibles avec les mêmes données.
Une objection à peser : quelle était la nouveauté réelle des cibles ?
Un compte X vérifié au nom de Melinda B. Chu, qui se présente comme chercheuse, a publié une critique acérée de l'annonce. Tout cela ressemblerait à « un projet d'étudiant en thèse ou de post-doc... je le situerais plutôt au niveau d'une première année de thèse, voire d'une licence » ; les cibles étaient « pour l'essentiel des cibles connues, ET Adaptyv Bio savait déjà les synthétiser précisément parce qu'elles étaient connues » ; et elle demande pourquoi on présente comme un exploit majeur ce qui relève du travail de routine. Je n'ai pas pu vérifier de façon indépendante ses qualifications ni son affiliation — X est inaccessible depuis cet environnement, et ces propos sont donc relayés à partir d'une capture d'écran et non de la source primaire. La part factuelle de son argumentaire, en revanche, se vérifie directement dans le texte d'Anthropic, et il vaut la peine de distinguer ce qui est vérifiable de ce qui relève de l'appréciation.
Sur la sélection des cibles, la propre méthodologie d'Anthropic confirme le cœur de son propos : « Nous avons commencé notre campagne de conception protéique en sélectionnant plusieurs cibles couramment utilisées dans les benchmarks de conception protéique, incluant l'ensemble du BenchBB d'Adaptyv Bio. Parce que ces cibles ont été étudiées de façon extensive, nous pouvons comparer nos résultats aux taux de réussite et affinités déjà publiés. » Sur la quinzaine de cibles utilisées, Anthropic ne nomme que 15-PGDH et GDF-8 comme cibles choisies spécifiquement pour ne pas avoir d'antériorité établie, « pour s'assurer que Claude pouvait concevoir contre des cibles sans s'appuyer sur des succès pré-enregistrés dans ses données d'entraînement ». Donc oui — la plupart des cibles étaient des benchmarks établis, et Anthropic le dit directement, en présentant cela comme un choix délibéré pour la comparabilité plutôt que comme quelque chose de dissimulé. Son inférence selon laquelle Adaptyv Bio disposait déjà de protocoles de synthèse et d'analyse rodés pour ces cibles est plausible — plusieurs d'entre elles sont des cibles sur lesquelles Adaptyv avait déjà organisé des compétitions publiques — mais cette affirmation précise n'est pas énoncée telle quelle dans les documents d'Anthropic ; c'est donc une extrapolation raisonnable plutôt qu'un fait confirmé.
Dans un message de suivi, Chu a précisé son propos : « Ceci répète un concours ouvert d'il y a quelques mois. La personne qui a gagné ce concours n'a pas dit qu'elle guérissait toutes les maladies. » Cette affirmation précise — que RBX1 faisait déjà l'objet d'un concours public qu'Anthropic aurait ensuite refait tourner — est, là encore, confirmée directement par le billet ci-dessus : la comparaison sur RBX1 est faite face à cette même compétition d'Adaptyv Bio. Son propos plus large porte sur un décalage d'échelle entre l'affirmation et la preuve : la communication publique d'Anthropic, y compris l'ambition affichée par Dario Amodei de guérir la plupart des maladies humaines en environ 5 à 10 ans, est bien plus grandiose que « a égalé l'entrée gagnante d'un benchmark connu sur une cible parmi quinze ». Cet écart entre un résultat expérimental modeste et précis et l'ampleur de l'ambition à laquelle il est cité en soutien mérite d'être gardé à l'esprit — une victoire étroite sur un benchmark déjà utilisé est une vraie preuve de quelque chose, mais ce n'est pas en soi une preuve de guérison de maladies, et rien dans l'annonce n'affirme directement le contraire ; le lien est fait par le récit environnant, pas par ce résultat précis.
Là où son propos relève de l'appréciation plutôt que du fait vérifiable, c'est dans la qualification même de « projet d'étudiant » : il s'agit d'un jugement sur l'importance et la difficulté du travail, pas d'une donnée que ce billet puisse confirmer ou réfuter. Ce que les propres chiffres du billet offrent comme contexte : sur RBX1, l'une des cibles en question, la conception de Claude a battu l'entrée gagnante parmi 245 soumissions à une compétition publique — des soumissions qui incluaient vraisemblablement précisément la population de chercheurs, doctorants et post-docs compris, que son commentaire invoque comme la comparaison appropriée. Utiliser des cibles bien étudiées rend effectivement la comparaison plus lisible (il existe une référence connue à battre), et cela signifie aussi que cette campagne n'est pas une preuve que Claude réussit sur de la biologie authentiquement inédite — une affirmation plus étroite et plus précise que ce que « Claude accélère la conception protéique » pourrait suggérer à un lecteur pressé. Les deux peuvent être vraies en même temps, et le reste de ce billet doit être lu en gardant cela à l'esprit.
Le résultat RBX1 est celui qu'il faut retenir précisément
Contre RBX1, une protéine impliquée dans la dégradation ciblée de protéines, Mythos Preview en mode mono-cible a atteint 40 % — et Adaptyv Bio avait organisé une compétition publique sur cette même cible où les participants humains ont obtenu un taux de réussite de 3,7 % sur 245 conceptions soumises. La conception RBX1 la mieux classée de Claude a surpassé l'entrée gagnante de cette compétition en termes d'affinité. C'est une affirmation précise et réfutable, adossée à un classement public daté — exactement le genre de comparaison que ce blog réclame régulièrement et obtient rarement quand un laboratoire prétend battre « le domaine ».
Là où les deux modèles ont divergé, et où Anthropic ne sait pas pourquoi
La ligne la plus franche du rapport concerne le TNFα, une cible cliniquement importante et structurellement difficile (c'est la base de l'Humira). Opus 4.8 a conçu des liants fonctionnels — dont certains se lient simultanément au TNFα humain, du singe cynomolgus et de la souris, utile pour les études animales — tandis que Mythos Preview, le modèle qui a surpassé Opus 4.8 partout ailleurs dans cette campagne, a échoué entièrement sur cette cible. La propre phrase d'Anthropic : « Nous ne savons pas pourquoi Opus 4.8 a réussi sur cette cible et pas Mythos Preview. » C'est un vrai aveu d'une capacité non monotone au sein de leur propre gamme de modèles sur une tâche précise, énoncé clairement plutôt que lissé en une affirmation composite du type « nos modèles sont forts en conception protéique ». C'est aussi une mise en garde utile contre le fait de lire un seul chiffre de taux de réussite comme un classement stable : sur cette cible précise, le modèle « inférieur » l'a emporté nettement.
Claude a aussi produit 15 liants confirmés utilisant des structures en feuillets β sur six cibles — un motif plus difficile, sujet au mauvais repliement, que la conception computationnelle évite généralement par défaut au profit de faisceaux d'hélices α — et le rapport est tout aussi direct sur les échecs : zéro des 90 conceptions contre la protéine de liaison au maltose n'a été confirmée comme se liant (l'une a montré un signal faible mais reproductible), et ses liants BBF-14, bien que réels, n'ont atteint que des affinités modestes (sous-micromolaires) contre une cible spécifiquement choisie pour être délibérément difficile à concevoir.
La tâche de chimie : aucune revendication d'autonomie, juste un chronomètre
La seconde expérience a utilisé Opus 5, le modèle en accès général — pas une variante de recherche restreinte — et testé quelque chose de plus étroit : muni des fichiers bruts d'instruments RMN et LC-MS d'un laboratoire sous-traitant et d'un prompt de deux phrases, pouvait-il reproduire la propre analyse du laboratoire ? Il a rendu ses résultats en 23 et 19 minutes, avec des décomptes de protons à 0,08 ppm près des valeurs du laboratoire et une mesure de pureté de 96,4 % contre 96,33 % pour le laboratoire. Deux détails rendent cela plus qu'une simple affirmation de vitesse : Claude a proposé indépendamment la même expérience de suivi à l'eau lourde que le laboratoire avait menée trois jours après sa propre première mesure, et en traitant ces données de suivi, il a repéré et corrigé sa propre surestimation antérieure — sa première passe affirmait que quatre pics signalés avaient tous disparu ; sa propre vérification a montré que seuls deux avaient disparu. C'est une instance précise et visible d'auto-vérification qui rattrape une vraie erreur, pas seulement une réponse finale plus rapide.
La publication de données va plus loin que le billet lui-même
Anthropic a fait suivre l'annonce d'une publication complète de données — 1 440 conceptions au total (900 de Mythos Preview, 540 d'Opus 4.8) sur 16 cibles, une de plus que les 15 mises en avant dans le billet : la cible supplémentaire, le GDF-8 mature, est incluse avec ses conceptions et sa provenance, mais ses mesures en laboratoire sont explicitement exclues parce que l'antigène s'est agrégé et s'est lié de façon non spécifique aux surfaces d'analyse — un résultat non concluant rapporté comme tel plutôt que simplement écarté sans commentaire. La vérification à deux sous-traitants est plus rigoureuse qu'un simple « deux laboratoires sont d'accord » : Adaptyv Bio et Twist Bioscience ont fait tourner des méthodologies d'analyse réellement différentes sur les mêmes conceptions — expression acellulaire avec la conception elle-même immobilisée pour la cinétique SPR/BLI chez Adaptyv, expression en fusion Fc avec un titrage d'antigène en six points sous SPR de capture chez Twist — de sorte qu'un liant compté comme confirmé devait passer deux dispositifs expérimentaux différents, pas seulement deux bâtiments faisant tourner le même protocole.
Ce qui est publié va bien au-delà des chiffres de l'annonce : sensorgrammes bruts et images de rapport des deux fournisseurs par conception, la comparaison finale par conception et le verdict entre les deux sous-traitants, des prédictions de structure co-repliée issues de dix prédicteurs de structure différents à cinq graines chacun (113 550 structures prédites avec matrices PAE complètes), la provenance de conception étape par étape, et — chose vraiment inhabituelle — les prompts exacts de la campagne, les messages de lancement, et l'ensemble du corpus de ressources externes (articles cités, collections ProteinBase, articles de méthode) auquel Claude avait accès pendant la campagne, chacun avec ses propres notes de redistribution/licence. Les données et la documentation sont sous CC BY 4.0. C'est un paquet de reproductibilité plus proche de ce dont un groupe académique indépendant aurait besoin pour réellement relancer l'analyse que ce qui accompagne habituellement l'annonce de capacité d'un laboratoire, et cela renforce l'argument de crédibilité dans la même direction que la validation à deux fournisseurs elle-même : rien ici ne doit être pris sur la seule parole d'Anthropic.
La barrière au double usage, énoncée clairement
Anthropic dit explicitement que la conception protéique et « les autres capacités de recherche biologique à double usage » restent exclues de l'accès général à Claude Fable 5 : elles ne seront ouvertes que par un « programme d'accès de confiance » annoncé comme imminent — la même forme de contrôle d'accès que la couverture de ce mois-ci sur les capacités cyber a suivie à plusieurs reprises, appliquée ici à la biologie plutôt qu'au cyber, et pour la même raison énoncée : la capacité de recherche autonome est à double usage, et la campagne en laboratoire humide décrite ci-dessus a tourné sur Mythos Preview et Opus 4.8 précisément parce que les modèles les plus capables restent bloqués pour cette catégorie de tâche en attendant ce programme d'accès.
À surveiller
- La caractérisation complémentaire promise. Anthropic affirme explicitement avoir l'intention de poursuivre le travail pour confirmer ces taux de réussite et ces affinités — un vrai engagement à revérifier ses propres chiffres phares plutôt que de laisser un premier résultat faire foi.
- L'asymétrie observée sur le TNFα se reproduira-t-elle sur d'autres cibles ? Une inversion de capacité inexpliquée entre deux modèles ne fait qu'un point de mesure ; une deuxième signalerait quelque chose de structurel dans leur façon d'aborder la conception de liants, et non du bruit.
- Les conditions réelles du programme d'accès de confiance, puisque c'est ce qui déterminera si des chercheurs extérieurs — pas seulement la propre équipe d'Anthropic — pourront reproduire indépendamment quoi que ce soit de tout cela sur un modèle plus capable que ceux utilisés ici.
- L'évaluation par les pairs. Rien ici n'est encore passé par une revue ou un examen externe formel ; les rapports techniques et les données ouvertes rendent cette étape possible, mais la publication et la critique indépendante restent le vrai test de la solidité de ces résultats face à l'examen.
Références : Anthropic — How Claude is accelerating protein design and analytical chemistry · Hugging Face — publication de données Anthropic/claude-protein-binder-design · Melinda B. Chu sur X — suite de la discussion · Anthropic sur X · couverture liée : Les annonces mathématiques d'OpenAI souffraient d'un problème de crédibilité · La verticale scientifique : une grosse part et quelques miettes · OpenAI a mis en pause son plus gros entraînement · Claude Opus 5 · Frontier Arcade : tendances et prédictions