François Chollet — créateur de Keras, du benchmark ARC-AGI que ce blog a couvert en détail, et désormais cofondateur de Ndea — a publié un conditionnel sur les propositions de cadencement des laboratoires de pointe de la semaine : il espère qu'elles sont sincères, mais il surveille deux choses précises qui lui indiqueraient le contraire.
Son cadrage mérite d'être cité longuement, parce que la structure de l'argument compte autant que la conclusion. Il espère que les propositions « découlent d'une préoccupation sincère pour la sûreté et d'une reconnaissance des risques potentiels posés par les futurs modèles, plutôt que d'un effort stratégique pour consolider le pouvoir et solidifier durablement la domination de marché de quelques acteurs dominants ». Si elles sont sincères, soutient-il, la supervision « doit prendre une forme plus démocratique et responsable, avec des composantes nationales et internationales, semblable à la Nuclear Regulatory Commission aux États-Unis et à l'Agence internationale de l'énergie atomique à l'échelle internationale ». Puis vient le test qui donne du mordant au reste : « S'il n'existe qu'une seule organisation responsable de la surveillance de la sûreté, qu'elle se trouve être composée des mêmes personnes que les laboratoires de pointe, et qu'elle est parfaitement alignée avec eux à la fois par les incitations et par l'idéologie, alors ce serait indiscernable du fait de laisser les laboratoires de pointe s'autoréguler et s'autocertifier eux-mêmes. »
De là, deux signaux d'alarme concrets : « Des appels à interdire l'IA open source. Le développement open source constitue actuellement le seul véritable contrepoids à la domination des laboratoires de pointe », et « Des tentatives d'entraver la recherche non-frontière. Les modèles ayant une ou deux générations de retard sur la frontière — dont le niveau de capacité a déjà été déployé à grande échelle — sont empiriquement connus pour ne pas poser de risques de sûreté ». Sa conclusion : en l'absence de ces deux signaux, et avec de réels efforts de coordination internationale en cours, il croira que les propositions sont bienveillantes.
Ce n'est pas une réaction à un document unique. Cela se lit le plus directement face à l'essai « We Must Pace the Frontier » d'Amodei, publié la veille, mais c'est en réalité un cadre pour juger toute la semaine — l'essai d'Amodei, le récit causal de Bengio sur les raisons pour lesquelles les agents se comportent mal, l'appel de Virkkunen à des règles mondiales sur l'IA, la proposition d'AIEA de Wildberger citée dans ce même billet. Ce qui rend cela utile plutôt que simplement une opinion de plus, c'est que c'est falsifiable, et les propres reportages de ce blog ont déjà des données sur les deux tests.
Premier test : quelqu'un a-t-il appelé à interdire l'IA open source ?
Pas cette semaine, et pas Amodei. Mais il existe une instance historique plus proche qu'il n'y paraît à première lecture, et il vaut la peine d'être précis sur la façon dont elle s'aligne.
En juillet, ce blog a couvert une véritable poussée visant à interdire purement et simplement les modèles chinois à poids ouverts, rapportée par Axios et amplifiée par le secrétaire au Trésor Scott Bessent et le directeur de l'OSTP Michael Kratsios sur des motifs de vol par distillation. Elle a suscité une coalition industrielle de cinquante signataires — NVIDIA, Microsoft, Meta, Hugging Face, Mozilla, et des dizaines d'autres — s'y opposant en quelques jours, et elle s'est réduite à un menu plus étroit de restrictions sur les marchés publics et de menaces d'inscription sur l'Entity List plutôt qu'à une interdiction effective. Dario Amodei lui-même, cette même semaine, s'est exprimé publiquement : « Anthropic n'a jamais préconisé une interdiction des modèles à poids ouverts », qualifiant les modèles ouverts sans capacités dangereuses de « bien public », et affirmant qu'une interdiction générale « n'est ni le bon remède ni quelque chose que nous avons réclamé ».
C'est le signal d'alarme de Chollet, mais plus étroit que son propre cadrage : une poussée d'interdiction ciblant les modèles d'un pays précis pour des motifs de sécurité nationale, pas un appel général à interdire l'IA open source en tant que catégorie, et elle a déjà échoué à tenir. Rien dans le nouvel essai de septembre d'Amodei ne relance un langage d'interdiction. Ce qu'il propose — une répression de « la distillation industrielle par des entreprises de pays autoritaires » et la poursuite des contrôles à l'exportation de puces — est le même argument géopolitique de juillet, visant une nation concurrente plutôt que la licence ouverte elle-même. Que cette distinction compte dépend de l'endroit où se situe la limite entre « restreindre l'accès de la Chine au calcul » et « restreindre la publication en poids ouverts », et le combat de juillet a montré que ces deux choses se confondent facilement sous la pression, même si ce ne fut pas le cas cette semaine.
Second test : quelqu'un a-t-il tenté d'entraver la recherche non-frontière ?
C'est le plus difficile à évaluer, parce qu'il repose sur une question que ce blog avait signalée comme non résolue en juillet et que le nouvel essai d'Amodei laisse toujours non résolue.
La propre conclusion du billet de juillet, après l'échec du combat sur l'interdiction : « tout le monde s'accorde désormais sur l'absence d'interdiction, et le débat se déplace vers le fardeau de conformité ». La position d'Amodei à l'époque était « d'exiger des tests de sûreté pour tous les modèles suffisamment capables, ouverts et fermés » — et le mot qui fait tout le travail est « suffisamment ». Personne ne l'a défini. Une obligation de test qui ne s'applique qu'aux véritables sorties de pointe est incontestable et cohérente avec le cadre de Chollet ; la même obligation appliquée à un modèle ayant une ou deux générations de retard — l'exemple précis que donne Chollet de quelque chose « empiriquement connu pour ne pas poser de risques de sûreté » — serait exactement le genre d'entrave à la recherche non-frontière que signale son second test.
L'essai de septembre d'Amodei réintroduit ce même seuil non défini sous une nouvelle forme plutôt que de le résoudre : des points de contrôle déclenchés par la capacité, où un modèle capable, disons, de « déjouer la plupart des méthodes courantes de sandboxing » a besoin de preuves d'alignement certifiées avant sa sortie. Cela est entièrement cadré autour de seuils de capacité de pointe — rien dans l'essai ne propose d'exigences de test pour des modèles plus anciens ou plus petits, et il ne mentionne jamais les sorties à poids ouverts, en bien ou en mal. Sur le texte, le second test n'est pas déclenché. Mais l'essai ne répond pas non plus à la question laissée ouverte en juillet, et la réponse ne devient vérifiable qu'une fois que « suffisamment capable » sera couché sur le papier sous forme d'un chiffre réel ou d'un benchmark de capacité plutôt que d'une expression.
Le test de l'autorégulation tombe sur un nom qu'Amodei a lui-même donné
L'affirmation la plus tranchante et la plus précise de Chollet porte sur la structure organisationnelle, pas sur le contenu politique : une supervision « composée des mêmes personnes que les laboratoires de pointe » et « parfaitement alignée avec eux à la fois par les incitations et par l'idéologie » est de l'autorégulation avec de la paperasse en plus. L'essai d'Amodei nomme une réponse précise à la question de qui devrait superviser — « des évaluateurs tiers intégrés (comme METR) » — ce qui rend le test de Chollet directement applicable plutôt qu'hypothétique.
La propre histoire de METR est de notoriété publique et mérite d'être énoncée simplement plutôt que suggérée. Sa fondatrice et PDG, Beth Barnes, est une ancienne chercheuse en alignement d'OpenAI qui a quitté l'entreprise en 2022 spécifiquement pour construire une organisation d'évaluation extérieure aux laboratoires, d'abord sous le nom d'ARC Evals au sein de l'Alignment Research Center de Paul Christiano, avant de se scinder en organisation à but non lucratif indépendante en décembre 2023. Son personnel compte Ajeya Cotra, dont ce blog a cité directement le récit de l'incident OpenAI/Hugging Face, une ancienne responsable du financement de la sûreté technique de l'IA chez Open Philanthropy. Et METR n'est pas un point de supervision unique hypothétique — elle en est déjà un dans les faits : elle a enquêté sur la brèche Hugging Face d'OpenAI et sur les propres incidents d'évaluation en cybersécurité d'Anthropic cet été, la même organisation examinant deux laboratoires de pointe concurrents.
Rien de tout cela n'est une preuve de capture en soi, et il serait injuste de le lire ainsi. METR a été construite par quelqu'un qui a quitté un laboratoire spécifiquement pour créer un contrôle extérieur, pas par les laboratoires eux-mêmes, et ses rapports sur OpenAI comme sur Anthropic ont été véritablement critiques plutôt qu'innocentants — la propre couverture de ce blog sur les deux incidents s'est appuyée sur des conclusions de METR qui ont embarrassé les entreprises examinées. Mais le test de Chollet ne porte pas sur l'honnêteté d'un évaluateur. Il porte sur la question de savoir si la même petite communauté, alignée idéologiquement — des gens qui circulent entre les équipes de sûreté des laboratoires de pointe, des organismes de financement proches de l'altruisme efficace, et les organisations d'évaluation qui examinent ces mêmes laboratoires — finit par être la seule structure qui les contrôle tous, quelle que soit la bonne foi de chaque individu. Le fait que METR examine à la fois OpenAI et Anthropic cette année est exactement le schéma que son test demande au lecteur de remarquer, quelle que soit la conclusion qu'on en tire. La proposition d'Amodei, notamment, ne nomme pas de seconde ou troisième organisation, et n'aborde pas ce qui se passe si chaque laboratoire de pointe finit par intégrer la même.
Le critère positif est déjà partiellement en marche, à des conditions différentes de celles d'Amodei
La dernière condition de Chollet — une réelle coordination internationale, pas seulement des pactes industriels nationaux — a un candidat déjà vivant que ce blog a déjà couvert : la proposition du ministre allemand du Numérique Karsten Wildberger pour un organisme de sûreté de l'IA de type AIEA avec signalement obligatoire des incidents, soulevée la veille de l'essai d'Amodei, et citant explicitement le modèle NRC/AIEA que nomme Chollet.
Là où elle diffère du propre plan d'Amodei est instructif. La structure en trois étapes d'Amodei place la coordination nationale entre laboratoires de pays démocratiques en deuxième position et la véritable coordination mondiale avec la Chine en troisième position, la plus conditionnelle, bornée tout du long par le fait de « garder l'avance des démocraties sur les autocraties en matière d'IA aussi large que possible ». La version de Wildberger, et la position plus large de l'UE que ce blog a suivie, traite le signalement international comme la demande la plus immédiate, pas comme l'étape finale la plus durement acquise, verrouillée derrière la préservation de l'avantage compétitif d'un bloc. Chollet ne précise pas quel séquencement il accepterait, mais « de réels efforts de coordination internationale », son critère énoncé, se rapproche davantage du cadrage de Wildberger — une institution construite pour recevoir des signalements de n'importe qui, pas une coalition d'alliés s'accordant à se coordonner contre un rival — que de l'essai auquel il semble répondre.
Évalué selon les trois propres conditions de Chollet à ce jour : aucune interdiction n'a été réclamée, et le seul épisode adjacent s'est effondré il y a des mois, avec Amodei sur la ligne opposée. Aucune entrave à la recherche non-frontière n'a été proposée par écrit, même si le seuil qui en créerait une reste non défini exactement là où il l'était en juillet. Et l'unique évaluateur nommé se trouve à l'intérieur d'une petite communauté de sûreté interconnectée qui examine tous les grands laboratoires à la fois — pas une preuve de capture, mais pas non plus l'indépendance structurelle que réclame son propre cadre. Deux des trois conditions penchent actuellement en faveur d'une lecture sincère des propositions. La troisième est celle qui mérite d'être surveillée, parce que c'est celle qu'aucun des acteurs concernés n'a intérêt à corriger de son propre chef.