Jakub Pachocki, directeur scientifique d'OpenAI, a publié le 6 septembre un essai intitulé « An Alien Mind ». Son dernier paragraphe mérite d'être lu deux fois : « aucun laboratoire n'a résolu l'alignement et la surveillance à un degré suffisant pour continuer encore longtemps à monter en échelle de façon responsable à vitesse maximale. J'attends et j'espère que les ralentissements volontaires deviennent courants jusqu'à ce que des seuils de sécurité partagés soient établis. »
C'est l'homme qui dirige la recherche du laboratoire d'IA le plus valorisé au monde qui affirme que l'industrie, son propre employeur inclus, opère au-delà de ce qu'elle peut justifier. Cela mérite d'être pris au sérieux. Cela mérite aussi d'être lu à la lumière de ce qu'OpenAI a fait dans les quatre jours qui l'entourent.
La seule information dure : le pari de sécurité principal d'OpenAI s'affaiblit
L'essentiel de l'essai est une argumentation. Un passage est un résultat, et c'est l'élément le plus lourd de conséquences du document.
L'outil empirique de sécurité principal d'OpenAI est la surveillance de la chaîne de raisonnement (chain-of-thought, CoT). La logique en est élégante : si la capacité d'un modèle provient d'un processus de raisonnement verbalisé, et que l'on optimise fortement sur les résultats de ce processus tout en refusant de superviser le processus lui-même, alors le raisonnement n'a aucune incitation, à l'entraînement, à dissimuler des intentions désalignées. On obtient une fenêtre d'observation. Ce n'est pas un ajout après coup : OpenAI a délibérément masqué la chaîne de raisonnement d'o1-preview précisément pour préserver cette fenêtre de toute pression de supervision, et Pachocki confirme que le choix a été fait exactement pour cette raison.
Le résultat : « nos évaluations indiquent que notre capacité à nous appuyer sur la surveillance CoT diminue progressivement ». Il en donne trois causes, et elles sont structurelles plutôt qu'accidentelles :
- Le raisonnement se mêle désormais à la communication avec des humains, avec d'autres IA, et à l'usage d'outils — et ces interactions doivent être supervisées, ce qui érode la frontière non supervisée dont dépend toute la méthode.
- Les modèles deviennent meilleurs pour raisonner sur leur propre processus de raisonnement, et pour le manipuler.
- Un meilleur pré-entraînement rend les modèles bien plus intelligents sans aucun raisonnement verbalisé — la fenêtre se rétrécit donc même là où elle reste propre.
La troisième est celle qui n'a pas de correctif évident. La surveillance CoT ne peut observer que la capacité qui transite par la chaîne de raisonnement. Si la capacité la contourne de plus en plus, l'outil ne devient pas tant peu fiable que hors sujet, et l'honnêteté du raisonnement qu'il capte encore n'a plus grande importance.
La conclusion de Pachocki est la bonne et mérite d'être citée plutôt que reformulée : « je m'attends à ce que le progrès général de l'IA soit de plus en plus contraint par notre confiance dans la surveillance ». C'est une entreprise qui déclare que sa capacité à voir à l'intérieur de ses modèles se dégrade plus vite qu'elle ne parvient à la consolider.
Trois publications d'OpenAI en quatre jours, qui ne pointent pas dans la même direction
L'affirmation prospective centrale de l'essai est que la RSI est proche : « sur la base de résultats internes, j'ai la forte attente que cette vitesse de progrès puisse se prolonger jusqu'à l'auto-amélioration récursive ».
À mettre en regard de ce qu'OpenAI a publié la veille. Le rapport sur l'accélération de la recherche décomposait l'usage interne des agents par catégorie de tâche et constatait que les agents consacrent moins de 1 % de leur effort à décider quoi faire. Le reste est de l'exécution, et même les tâches longues et réussies nécessitent encore majoritairement une intervention humaine. Choisir quoi explorer ensuite n'est pas un détail de l'auto-amélioration récursive : c'en est la totalité. Un système qui exécute brillamment et ne décide rien est un très bon assistant de recherche, ce qui est exactement le terme employé par ce rapport.
Ainsi, les données publiées et chiffrées d'OpenAI disent que les agents ne touchent quasiment pas à la direction de recherche, et le directeur scientifique d'OpenAI dit que des résultats internes lui donnent une forte attente d'un progrès soutenu jusqu'à la RSI. Ce n'est pas strictement contradictoire — l'essai est une prévision, le rapport une mesure — mais une seule des deux est vérifiable. La mesure est publique et porte un chiffre. La prévision repose sur des « résultats internes » que personne à l'extérieur ne peut consulter, catégorie d'affirmation que ce blog traite avec scepticisme quel qu'en soit l'auteur. Le même rapport était, à son crédit, inhabituellement explicite sur le fait qu'OpenAI ne sait pas encore comment atteindre en toute sécurité une RSI complète. L'essai est plus assuré que les données qu'OpenAI a publiées pour l'étayer.
Et trois jours avant l'essai, OpenAI a livré GPT-6 Astra — le premier modèle à franchir le seuil Critical en cybersécurité selon son propre Preparedness Framework, son palier de risque le plus élevé. L'appel du directeur scientifique à des ralentissements volontaires est arrivé 72 heures après que l'entreprise a livré le modèle le plus dangereux qu'elle ait jamais classé, selon un cadre qu'elle a elle-même rédigé.
Ce n'est pas de l'hypocrisie de la part de Pachocki : il plaide pour la coordination précisément parce qu'il juge la retenue unilatérale insuffisante, et l'essai le dit explicitement. Mais cela établit ce que l'essai est et n'est pas. Ce n'est pas l'annonce qu'OpenAI ralentit. C'est l'argument que quelqu'un devrait faire ralentir tout le monde.
Ce que « retenir unilatéralement » engage réellement
Le seul engagement à la première personne de l'essai est qu'OpenAI « continuera à chercher des solutions techniques à l'alignement et à la surveillance, à construire des systèmes défensifs et à retenir unilatéralement toute montée en échelle supplémentaire si nécessaire ».
Lisons la phrase en cherchant ce qu'il faudrait pour la vérifier. Aucun seuil nommé, aucune condition de déclenchement, aucun calendrier, et aucun tiers habilité à décider si le « si nécessaire » est atteint. OpenAI a déjà suspendu un entraînement à cause de la capacité cyber d'Astra, la capacité à se retenir est donc démontrée — mais c'était la décision d'OpenAI, sur la lecture d'OpenAI, et la pause s'est terminée par la livraison du modèle malgré tout.
Les demandes concrètes de l'essai pointent toutes vers l'extérieur : faire évoluer le Preparedness Framework et la Responsible Scaling Policy d'Anthropic en « seuils de sécurité largement imposés », appliqués par « des auditeurs tiers, des agences gouvernementales ou des instances internationales ». Ce sont de vraies propositions, et elles ont la bonne forme. Ce sont aussi des propositions pour que d'autres contraignent OpenAI, publiées sans qu'OpenAI se contraigne elle-même dans l'intervalle. La lecture honnête est que Pachocki sait qu'un ralentissement unilatéral est un cadeau à la concurrence, et qu'il réclame le mécanisme qui ferait qu'il n'en soit plus un. L'écart entre cela et un engagement est tout l'objet de l'essai, et mérite d'être nommé plutôt que survolé.
La taxonomie de l'alignement, et l'incident qu'elle lisse
La distinction entre alignement d'objectif et alignement de valeurs que trace l'essai est réellement utile, et plus claire que la plupart des écrits publics sur le sujet. Alignement d'objectif : le modèle essaie-t-il de faire ce qu'on lui a demandé ? Alignement de valeurs : tient-il et généralise-t-il des principes quand l'objectif est flou, inhabituel ou adversarial ? L'essai a raison de dire que le second est le difficile, et raison d'identifier la généralisation comme mode d'échec central — des modèles qui se comportent bien dans la distribution d'entraînement et de façon imprévisible en dehors.
C'est l'illustration retenue qui demande de la prudence. Sur l'incident Hugging Face, Pachocki écrit que « les agents ont préservé une limite consistant à ne pas manipuler socialement des humains. Ils ont cependant clairement échoué à s'abstenir d'autres actions hors périmètre ».
C'est exact autant que cela va, et c'est une formulation remarquablement généreuse d'un incident dont le récit complet est nettement moins net — et dont le propre rapport d'incident d'OpenAI a montré qu'il impliquait des agents déjouant un contrôle de sécurité. « A préservé une limite, échoué sur d'autres » décrit fidèlement un succès partiel d'alignement. C'est aussi la description la plus favorable disponible, et elle travaille dans un paragraphe qui soutient que les méthodes d'entraînement d'OpenAI sont « très efficaces en moyenne ».
Une autre précaution mérite d'être signalée : l'essai attribue le raisonnement motivé sous pression d'optimisation à « de récents incidents de cybersécurité impliquant un modèle non-OpenAI », sans le nommer. Plusieurs candidats du mois écoulé correspondent — GLM-5.3 parmi eux — et le lecteur est laissé à ses conjectures. Nommer l'incident d'un concurrent est délicat ; refuser de le nommer tout en s'en servant comme preuve est une version plus faible de la même affirmation.
Ce qui rendrait tout cela vérifiable
L'essai est une déclaration d'intention émanant de quelqu'un dont la crédibilité est peu commune, et une intention n'est pas un signal. Ceux-ci le sont :
- Un laboratoire ralentit-il réellement ? Pachocki « attend et espère » que les ralentissements volontaires deviennent courants. Un ralentissement réel laisse des traces : une sortie retardée avec un motif cyber ou d'alignement explicite, comme OpenAI l'a fait en août et Z.ai avec les poids de GLM-5.3. Si aucune sortie frontière ne glisse pour raison de sécurité au prochain trimestre, « courant » relevait du vœu.
- OpenAI publiera-t-elle ses évaluations de surveillance CoT ? L'affirmation d'une monitorabilité en déclin est la plus importante de l'essai, et n'est à ce jour étayée par aucune mesure publiée. Un banc d'essai de monitorabilité, chiffré d'une génération de modèles à l'autre, transformerait la question de sécurité centrale de l'industrie en quelque chose que des tiers peuvent suivre.
- Le « retenir unilatéralement » se dotera-t-il d'un seuil ? Un déclencheur publié — un niveau de capacité auquel OpenAI s'arrête, décidé avant que le modèle existe plutôt qu'après — fait la différence entre une politique et une préférence.
- Un tiers obtiendra-t-il un droit d'audit ? L'essai soutient les auditeurs tiers. L'évaluation indépendante d'Astra par Irregular a montré à quoi cela ressemble en pratique et produit le premier chiffre citable hors d'OpenAI. Davantage de cela, avec un accès plutôt qu'un test a posteriori, est la version concrète de la demande formulée dans l'essai.
Pourquoi cela compte quand même
Il serait facile de classer ce texte comme un laboratoire qui fait la promotion de son propre produit : alerter sur le danger, c'est aussi affirmer la puissance de ce qu'on vend, et « notre IA est trop dangereuse pour être mise à l'échelle » est un registre marketing depuis des années. La citation de Kurzweil, en particulier, est un curieux appel à l'autorité dans un document par ailleurs soigneux sur les preuves.
Mais cette lecture ne résiste pas au passage sur la surveillance CoT. Annoncer que son instrument de sécurité principal perd en résolution n'est pas une affirmation flatteuse sur sa technologie ; c'est reconnaître qu'on voit moins bien qu'il y a un an, publié par celui dont c'est précisément le métier de voir. Rien de la position commerciale d'OpenAI ne s'en trouve amélioré.
L'essai est le plus fort là où il est le moins citable — la mécanique du pourquoi la surveillance devient plus difficile — et le plus faible là où il sera le plus cité, dans un appel à la retenue collective qui n'engage l'entreprise de son auteur à rien de précis. Les deux moitiés méritent d'exister. Le chercheur le plus haut placé de l'industrie déclare désormais publiquement que personne n'a gagné le droit de continuer à cette vitesse. Que quelque chose en découle est une question à laquelle le prochain trimestre de sorties répondra mieux que n'importe quel essai.