2026-07-31

La réponse de Thinking Machines à "les poids d'Inkling auraient-ils même dû être publics"

AIOpen SourcePolicy🌍 North America

Thinking Machines a publié les poids d'Inkling il y a deux semaines avec une phrase qui se lisait comme une auto-évaluation de routine : une baisse de 6,4 points dans le refus des requêtes nuisibles, décrite en un mot comme "compétitive". Cette semaine, le laboratoire a publié le cadre réel derrière ce jugement — "A Safe Path to Open Weights" — et c'est un document plus sérieux qu'une note de bas de page de fiche modèle. C'est une tentative de répondre à la question que la couverture de ce blog sur la bataille des poids ouverts tournait sans y répondre clairement : que faudrait-il réellement pour que publier les poids d'un modèle soit le choix responsable, pas simplement le choix disponible ?

La prémisse : les poids ouverts sont un bien public et irréversibles à la fois

L'article ne biaise pas sur pourquoi l'ouverture compte — "la connaissance de ce que l'IA devrait faire vit chez les personnes qui font le travail, elles devraient donc pouvoir façonner leurs modèles directement", et sans modèles ouverts solides, "l'expertise d'entraînement et de déploiement risque de se concentrer dans quelques laboratoires". Mais il associe cela à l'affirmation la plus simple possible sur l'inconvénient : une fois les poids publics, "n'importe qui peut les utiliser, y compris des acteurs malveillants", et contrairement à une API qu'on peut limiter ou révoquer, une publication ne peut pas être annulée. Le cadre existe parce que ces deux choses sont vraies en même temps, pas parce que l'une annule l'autre.

L'inquiétude concrète en tête de l'article porte sur la cybersécurité : Claude Mythos Preview d'Anthropic aurait trouvé des milliers de vulnérabilités jusqu'alors inconnues sur tous les principaux systèmes d'exploitation et navigateurs, et écrit des exploits fonctionnels sans guidage humain — une capacité couverte par ce blog sous l'angle de la réponse à incident — et le cadrage de Thinking Machines est direct : "Notre société sera-t-elle plus sûre si les modèles à poids ouverts permettent à tout le monde d'avoir des compétences surhumaines en cybersécurité ?" Ils ne répondent pas de façon rhétorique. Leur réponse, c'est le reste de l'article.

Deux questions séparées : le modèle est-il sûr, et l'écosystème est-il prêt

Le cadre se divise en deux axes évalués indépendamment. Le modèle est-il sûr — des tests rigoureux sur les tâches nuisibles qu'il peut accomplir, l'accessibilité de cette capacité, et ce qui se passe une fois les garde-fous retirés. L'écosystème est-il prêt — des défenses en couches, depuis les organisations individuelles qui patchent rapidement jusqu'aux outils défensifs construits sur des modèles capables. La partie honnête est d'admettre que ces deux axes tirent dans des directions opposées : la préparation se construit en donnant des modèles capables aux défenseurs, mais "chaque extension d'accès élargit aussi qui peut en abuser". Il n'existe aucune version de cela qui résout la tension ; il n'existe qu'un processus pour la traverser progressivement et délibérément.

Comment Inkling a réellement été testé

C'est la partie avec une véritable spécificité, pas seulement des principes. Trois volets d'évaluation interne : les domaines duaux dangereux (CBRN, cybersécurité offensive, testant à la fois ce que le modèle sait sur ces domaines et s'il peut opérationnaliser cette connaissance), une suite large de mauvais usages couvrant les requêtes nuisibles directes et le comportement en contexte agentique avec outils, et une évaluation de contenu multimodal maison sur 17 langues et des entrées texte/image/audio, associant des prompts nuisibles à des équivalents anodins.

Puis quatre partenaires externes de red-teaming, chacun assigné à un créneau distinct : Scale AI sur les violations générales de politique, Handshake AI sur les interactions avec des utilisateurs vulnérables (suicide, automutilation, troubles alimentaires, sécurité des enfants), FAR.AI sur l'élicitation CBRN et cybersécurité, et Apollo Research sur les comportements de perte de contrôle — stratagèmes, conscience d'évaluation, sabotage. Aucun des quatre n'a trouvé de capacités qui augmenteraient significativement le risque réel au-delà de ce qui est déjà atteignable avec les modèles à poids ouverts existants.

Le test le plus important méthodologiquement est le troisième : le fine-tuning adversarial. Parce que les poids ouverts peuvent être dépouillés de leur entraînement de sécurité par quiconque dispose du calcul pour les affiner, Thinking Machines traite le comportement de refus comme n'étant pas une garantie durable pour une publication ouverte, et teste en conséquence — en entraînant des variantes "helpful-only" d'Inkling et d'Inkling-Small optimisées pour se conformer aux requêtes nuisibles plutôt que les refuser, puis en relançant les évaluations duales. Les variantes n'ont montré aucun gain nouveau sur les tâches CBRN et cyber. C'est la véritable conclusion derrière le "compétitif" sobre de la fiche modèle — le taux de refus peut être entièrement retiré et le modèle ne révèle toujours pas de capacité significativement au-delà de ce que d'autres poids ouverts offrent déjà, ce qui est précisément la barre que Thinking Machines a fixée pour savoir si publier les poids ajoute un risque incrémental matériel, pas si le modèle est sans risque dans l'absolu.

Le pari de recherche ouvert : peut-on filtrer les connaissances dangereuses à l'entraînement ?

Le paragraphe le plus lourd de conséquences de l'article ne parle pas d'Inkling du tout — c'est une hypothèse sur ce qu'est réellement la capacité dangereuse. L'hypothèse par défaut dans le domaine traite la capacité dangereuse comme une propriété émergente qui s'accroît avec l'intelligence générale, ce qui explique pourquoi les gains sur les benchmarks de cyber-range sont traités comme un jalon de capacité à célébrer. Thinking Machines s'y oppose : ils émettent l'hypothèse qu'une part significative des connaissances dangereuses — en biologie en particulier — repose sur des faits empiriques précis (protocoles, réactifs, conditions, résultats) appris à partir de documents spécifiques du corpus de pré-entraînement, plutôt que dérivés par raisonnement général. Si c'est exact, ces connaissances peuvent potentiellement être filtrées au niveau du document sans dégrader la capacité générale du modèle par ailleurs.

Ils citent des preuves préliminaires en ce sens — le filtrage au niveau des documents de contenu lié au CBRN dans le pré-entraînement, un travail crédité à Anthropic, EleutherAI et le UK AI Security Institute, qui réduit les scores aux évaluations de capacité nuisible tout en laissant intactes les capacités non liées. Ils prennent soin de qualifier cela de question ouverte, pas résolue : le raisonnement général pourrait permettre à un modèle suffisamment capable de re-dériver ce qui a été filtré, et la frontière entre connaissance technique "dangereuse" et "ordinaire" pourrait ne pas être nette. Mais si ce découplage tient, cela change la forme de chaque future décision de publication — passant de "quel est le risque de ce modèle" à "quelle part de ce risque est même nécessaire à publier".

Une échelle de paliers avec le fine-tuning comme échelon propre

Le mécanisme pratique est une échelle d'accès croissant, et l'ajout intéressant est un échelon entre "accès API" et "poids ouverts" qui n'avait pas de nom propre auparavant : le fine-tuning hébergé, via la propre plateforme Tinker de Thinking Machines. Elle donne aux utilisateurs une réelle personnalisation — leurs propres données, fonctions de perte, boucles d'entraînement — sans céder les poids eux-mêmes, si bien que le fournisseur garde la capacité de surveiller, maintenir des garde-fous et révoquer l'accès. Quatre rôles sont assignés le long de l'échelle : les défenseurs obtiennent un accès d'inférence précoce pour patcher et se préparer (l'article cite Project GlassWing d'Anthropic, qui a donné Claude Mythos Preview à des organisations de confiance avant la publication publique, comme précédent) ; les défenseurs vérifiés obtiennent un accès au fine-tuning pour construire des outils de détection (citant l'équipe gagnante du DARPA AI Cyber Challenge et les classificateurs gpt-oss-safeguard d'OpenAI, tous deux des couches défensives construites par fine-tuning) ; les chercheurs en sécurité vérifiés obtiennent un accès boîte blanche précisément parce que la recherche sur les jailbreaks en a besoin — l'article crédite exactement ce type d'accès d'avoir permis au domaine de découvrir que les garde-fous de refus sont contournables par optimisation adversariale au niveau des tokens, supprimables via une seule direction dans l'espace d'activation, et concentrés dans les tout premiers tokens de sortie ; et le public obtient un accès surveillé avant la publication complète, pour faire émerger les schémas de mauvais usage tant qu'il existe encore un levier à actionner.

Thinking Machines est explicite : ce n'est pas un tapis roulant qui se termine automatiquement par des poids ouverts — "un modèle retenu aujourd'hui peut devenir moins risqué à mesure que l'écosystème change", ce qui va dans les deux sens : de nouvelles preuves peuvent aussi justifier de retenir un modèle plus longtemps que prévu. Ils sont tout aussi explicites sur ce qui manque encore : quelles preuves devraient justifier de passer d'un palier à l'autre, comment l'incertitude devrait affecter cette décision, et comment mesurer la "préparation de l'écosystème" en premier lieu. Un cadre plus détaillé — évaluations, critères d'accès, conditions d'arrêt — est promis en suite, pas livré ici.

Ce que Thinking Machines offre réellement, et ce qu'il demande

La conclusion de l'article est autant un engagement de financement qu'une déclaration de recherche : les bourses de sécurité Tinker, un soutien financier pour les chercheurs externes utilisant la plateforme pour étudier les risques du fine-tuning, accompagné d'un appel ouvert au recrutement pour l'équipe sécurité. L'article est aussi étonnamment généreux en crédits pour un laboratoire aussi jeune — nommant explicitement Anthropic, EleutherAI et le UK AI Security Institute pour la recherche sur le filtrage de données, et OpenAI pour le cadre de sécurité du fine-tuning sur lequel s'appuie leur propre approche gpt-oss-safeguard. "Aucun laboratoire ne construit ce chemin seul" se lit comme une reconnaissance sincère plutôt qu'une formule de style, ne serait-ce que parce que l'alternative — chaque laboratoire publiant sa propre taxonomie de sécurité concurrente et incompatible — est le mode d'échec le plus courant dans cette industrie.

À surveiller ensuite

  • L'hypothèse de découplage devient la chose à surveiller, pas l'échelle de paliers. Si le filtrage des connaissances dangereuses au niveau des documents tient à l'échelle, c'est un levier authentiquement nouveau dont les autres laboratoires voudront une vérification indépendante — attendez-vous à des tentatives de réplication avant tout aval.
  • "Fine-tune helpful-only, puis relancer les évaluations duales" devient la divulgation attendue pour toute future publication de poids ouverts. C'est la seule partie de ce cadre difficile à contester sur le principe, puisque la sécurité fondée uniquement sur le refus était déjà connue pour être fragile.
  • Surveillez si la "préparation de l'écosystème" obtient une mesure réelle. Thinking Machines admet ne pas en avoir encore une ; quiconque la définit en premier fixe de fait le calendrier de publication de toute l'industrie pour tous ceux qui publient après.

Références : Thinking Machines Lab — "A Safe Path to Open Weights" · Thinking Machines Lab — annonce d'Inkling · couverture liée sur ce blog : Inkling · la bataille des poids ouverts · les incidents d'évaluation cybersécurité d'Anthropic