Satya Nadella a publié « Models as Insider Risks in the Super Intelligence Era » le 10 octobre. Nadella soutient qu'un logiciel traditionnel pouvait être retracé jusqu'à un chemin de code précis, mais que la compréhension mécaniste « nous échappe dans les systèmes de Super Intelligence d'aujourd'hui » : les comportements ne peuvent être attribués ni à des données d'entraînement ni à des poids de modèle précis. Pourtant, ces systèmes agentiques sont déployés « avec un accès à nos données les plus sensibles et la capacité d'entreprendre en notre nom des actions critiques pour la mission ». Il est donc temps d'évaluer l'architecture de confiance, et « nous devons séparer la fourniture de l'intelligence de l'autorité sur celle-ci ».
Le problème
Le premier point de Nadella concerne la responsabilité. « Nous ne pouvons tout simplement pas externaliser la responsabilité de ce que l'intelligence fait en notre nom. Les assurances d'un fournisseur de modèles ne nous en dégagent pas. » La Super Intelligence ne peut pas être traitée comme un empilement de boîtes noires dont on accepterait ou rejetterait simplement les sorties, soutient-il. L'objectif est des systèmes contenus « dont nous pouvons observer le comportement, tester les limites et toujours contenir les actions ».
Il nomme deux limites des garde-fous actuels. La transparence de la chaîne de pensée (CoT) est « une exigence non négociable », et le « Neuralese » ne peut justifier un raisonnement opaque. Mais elle n'est « ni suffisante ni fiable », car personne ne sait encore comment rendre les sorties des modèles systématiquement fidèles ou transparentes. Faire tester les modèles les uns par les autres de manière adversariale vaut la peine, dit Nadella, mais cela peut laisser « un modèle opaque dans une couche d'orchestration opaque, surveillé par un autre modèle opaque ».
Le cadre du risque interne
Nadella propose de traiter les modèles de pointe, fermés comme à poids ouverts, en risques internes. La raison n'est pas qu'ils soient nécessairement malveillants, mais que « tout acteur suffisamment capable ayant accès à des systèmes importants peut commettre des erreurs ou être compromis ». Les entreprises savent déjà gérer des acteurs puissants, dit-il : établir l'identité, limiter les privilèges, journaliser l'activité, créer des frontières de confinement. Ces pratiques, affinées pendant des décennies, sont désormais appliquées à la Super Intelligence.
La règle centrale est que les contrôles qui régissent ce qu'un modèle peut consulter et faire doivent se trouver hors du modèle. Il la rattache à un principe de sécurité de l'information des années 1970 : un programme ne doit pas pouvoir contourner ni altérer les mécanismes qui font respecter ses permissions. Concrètement, cela implique de séparer le modèle du harnais qui orchestre son travail et de l'espace d'actions qui définit ce qu'il peut faire.
Nadella met de côté le problème difficile de l'alignement et part de l'ingénierie : entourer les modèles non déterministes d'une conception de système déterministe, de contrôles humains et de procédures d'exploitation fiables, et établir des normes sectorielles là où les normes existantes sont insuffisantes.
Sept principes d'observabilité
- Diversité des modèles : aucun modèle ne doit être la seule dépendance d'un résultat important ni vérifier son propre travail.
- Tout observer : chaque action significative d'un modèle doit laisser une trace infalsifiable et lisible par un humain, reproductible sans s'en remettre au modèle pour l'attester. « Si ce n'est pas observable, ce n'est pas digne de confiance ! »
- Vérifiabilité : tester en continu l'ensemble du système, y compris les défaillances, les attaques et les cas limites, et pas seulement les tâches réussies.
- Contrôles indépendants : les organisations doivent pouvoir déterminer par elles-mêmes ce qu'un modèle peut consulter et faire.
- Auditabilité indépendante : la validation doit être indépendante de l'intelligence validée, et aucun modèle ne contrôle à la fois le comportement d'un système et les preuves qui servent à le juger.
- Confinement : supposer qu'un modèle est compromis et le contenir dès le départ, avec un frein d'urgence permettant à une personne autorisée de suspendre ou d'arrêter un modèle en pleine tâche.
- Divulgation des incidents : divulgation rapide aux personnes concernées et partage à l'échelle du secteur de ce qui a échoué, y compris les détails d'implémentation qui modifient le comportement des agents à l'exécution.
Nadella conclut par la phrase qui résume l'argument : « Le système de Super Intelligence le plus digne de confiance ne sera pas celui qui possède le modèle auquel nous faisons le plus confiance. Ce sera celui qui nous permet de faire le moins confiance au modèle. »
Où cela s'inscrit
En septembre, Nadella a soutenu nommément le plan de cadencement de Dario Amodei et engagé Microsoft à publier un code de conduite pour ses modèles MAI, en réponse à « We Must Pace the Frontier » d'Amodei, qui proposait des évaluateurs extérieurs intégrés. Son appel à une validation indépendante de l'intelligence validée fait écho aux évaluateurs extérieurs de cet échange et à l'accord de la Maison-Blanche sur la Super Intelligence, qui demande à chaque entreprise de recourir à un auditeur externe indépendant.
Le cadrage en termes de confinement, d'identité et de gestion correspond aux piliers de l'annonce Windows de Microsoft du 7 octobre, où Microsoft Execution Containers (MXC) est devenu généralement disponible et Agent 365 assure la gestion. La conception de sécurité de Muse chez Meta montre le même schéma de contrôle externalisé : un processus Sentinel détient l'autorité exclusive sur les actions des connecteurs et la sortie réseau, et la substitution des identifiants garde les vrais jetons hors de portée de l'agent.