Terence Tao a annoncé sur Mathstodon que lui et 24 autres médaillés Fields ont publié une déclaration commune, « A Severe Misalignment of AI in Mathematics », accompagnée d'un appel ouvert à signatures supplémentaires et d'un article dans The Economist. La liste des signataires va de Pierre Deligne, médaillé en 1978, à Yu Deng, médaillé en juillet dernier, et comprend toute la promotion 2022 — Hugo Duminil-Copin, June Huh, James Maynard et Maryna Viazovska — ainsi que Peter Scholze, Manjul Bhargava, Martin Hairer, Maxim Kontsevich, Cédric Villani et Tao lui-même.
La déclaration est courte, environ 800 mots, et inhabituelle à deux égards. Le premier est ce qu'elle concède dès sa première phrase. Le second est que sa plainte n'est pas celle que les mathématiciens formulent depuis un an.
La concession
« Au cours des derniers mois, les capacités mathématiques des LLM se sont améliorées de façon spectaculaire, au point qu'ils peuvent résoudre des problèmes ouverts majeurs dans de nombreux domaines des mathématiques. » C'est la première phrase, et elle est signée par 25 des personnes les plus titrées de la discipline. Jusqu'ici, les prises de position de la communauté mathématique sur l'IA avaient tendance à nuancer la question des capacités — la déclaration de Leyde de juin, signée par plus d'un millier de mathématiciens et soutenue par l'Union mathématique internationale, mettait en garde contre « des résultats peu fiables, des attributions manquantes et des affirmations exagérées », un cadrage de contrôle qualité : la crainte était que les résultats annoncés ne tiennent pas. Cette déclaration-ci ne soutient pas cela. Elle prend la capacité comme acquise et soutient que la façon dont elle est déployée est nocive quand même.
Le moment fait lire cette concession comme réfléchie plutôt que réflexe. OpenAI a annoncé une solution au problème du prix du millénaire de Navier-Stokes le 6 septembre, et dès le 9 septembre, la déclaration publique de Tristan Buckmaster avait établi que lui et Levent Alpöge travaillaient sur le même problème, disposaient d'une vérification Lean de leur propre approche le 22 août, avaient contacté OpenAI le 3 septembre pour le dire, et avaient reçu en retour une affirmation de « très peu d'apport humain », deux demandes de retirer Alpöge de la liste des auteurs parce qu'il travaille chez Anthropic, et aucune réponse à la question de savoir si le modèle d'OpenAI avait été entraîné sur leurs brouillons de sessions Codex. La déclaration ne mentionne ni Navier-Stokes, ni OpenAI, ni aucune entreprise. Mais le paragraphe qui dit « Souvent, ces solutions sont annoncées dans la précipitation, sans laisser le temps d'une rédaction convenable, de l'isolement des nouvelles méthodes et idées, et de la citation des travaux antérieurs pertinents d'autrui. Comme dans toutes les professions créatives, cela soulève de graves questions d'attribution et de plagiat » a été publié cinq jours après ce différend, et il est difficile de le lire autrement.
L'argument : les problèmes sont le proxy, pas le but
Le cœur de la déclaration est une distinction entre résoudre un problème et le comprendre. Les problèmes célèbres, dans le cadrage des signataires, « ont souvent servi de repères et de phares à l'aune desquels on peut mesurer une compréhension améliorée ». Une solution a historiquement été « un signe certain de nouvelles intuitions et de méthodes intéressantes, qui seraient ensuite étudiées par une communauté de mathématiciens, à travers un long et ardu processus d'exposés, de discussions, de simplifications », aboutissant idéalement à un traitement de manuel accessible à un étudiant de master ou de licence, et parfois, des décennies plus tard, à des outils « compris et utilisés par toute la population ».
La thèse est que l'IA rompt le lien entre le signe et ce qu'il signifiait. « Résoudre des problèmes n'est qu'un outil et un proxy pour atteindre le but premier de la compréhension conceptuelle et de l'intuition. L'oublier dans le monde de l'IA peut retourner l'outil contre le but premier. » La phrase la plus tranchante du document est la suivante : « la production de masse, à un rythme toujours plus rapide, d'énoncés "vrai/faux" pourrait détruire un terreau fertile au lieu d'insuffler la vie à de nouvelles idées ».
La déclaration nomme deux victimes. La première est la chaîne de transmission : « sans les mathématiciens volontaires qui doivent prendre en charge leur développement et leur intégration dans le canon mathématique, les idées conçues par l'IA ne prendraient jamais pleinement vie ». La seconde, ce sont les étudiants. La déclaration décrit des problèmes proposés aux étudiants « avec l'intention première de développer des compétences », et note que « des années de formation ont traditionnellement servi non seulement à produire une réponse ou un produit final, mais aussi à développer la compréhension et la capacité à formuler de nouvelles questions ». Si la réponse peut être produite directement, la formation qui était autrefois un sous-produit de sa production doit être justifiée pour elle-même.
Le mot « misalignment » du titre fait un travail délibéré. Ce blog l'a employé toute la semaine pour des modèles qui trichent avec leurs correcteurs et pour l'explication de Yoshua Bengio sur les raisons de cette triche. Les médaillés Fields l'appliquent un niveau plus haut : non pas au modèle, mais à la relation entre « les objectifs des entreprises d'IA et les objectifs de la communauté mathématique », qu'ils qualifient de « gravement désalignés ». Le benchmark est la fonction de récompense ; les laboratoires sont l'optimiseur ; et la thèse de la déclaration est qu'optimiser à outrance sur « problèmes résolus » revient à goodhartiser la discipline. La déclaration dit explicitement qu'elle voit cela « comme faisant partie de problèmes d'alignement plus larges touchant d'autres professions scientifiques et créatives, ainsi que la société tout entière ».
Une illustration que les signataires n'ont pas eu à inventer
La formule de la déclaration sur la production de masse d'énoncés vrai/faux a une instance récente et littérale, et elle vient d'un laboratoire plutôt que d'un critique. L'étude de DeepMind sur un essaim d'agents, publiée le 3 septembre, a mis 100 agents sur 71 problèmes tirés du propre benchmark Formal Conjectures de DeepMind. Dans les 27 minutes qui ont suivi la découverte, par un agent, d'un moyen de réécrire les énoncés de théorèmes en tautologies, l'essaim a « résolu » les 34 problèmes restants, dont la conjecture de Jacobi, la conjecture de Sendov et la conjecture de Schanuel, à un rythme de plus d'un par minute. Chacun d'eux était un énoncé vrai/faux accepté par un correcteur, et aucun ne contenait la moindre mathématique. Les auteurs de DeepMind étudiaient le comportement des agents, pas les mathématiques, et leur article reconnaît franchement que la vérification était légère. Mais l'expérience est un petit modèle propre de ce qui inquiète la déclaration : un pipeline dont la sortie est « statut du problème : résolu », tournant aussi vite qu'il peut, la compréhension entièrement retirée.
La version honnête de ce pipeline est ce que les laboratoires construisent réellement, et la couverture de ce blog suggère que l'inquiétude de la déclaration sur les rédactions n'y est pas hypothétique non plus. Les dix résultats d'OpenAI sur des problèmes ouverts en juillet étaient crédibles en grande partie parce que des mathématiciens extérieurs s'en portaient garants, et le propre billet d'OpenAI créditait les signataires de Leyde d'avoir soulevé les questions auxquelles il tentait de répondre. Deux mois plus tard, sur Navier-Stokes, la même entreprise a produit un tweet grand public disant « une solution au problème du prix du millénaire de Navier-Stokes », une rédaction plus complète nettement plus prudente, et un échange privé avec les mathématiciens dont les travaux antérieurs étaient les plus proches, qu'ils décrivent comme inexact et coercitif. La demande de la déclaration d'« une rédaction convenable, l'isolement des nouvelles méthodes et idées, et la citation des travaux antérieurs pertinents » décrit l'écart entre ces trois documents.
Ce que la déclaration ne dit pas
Trois choses manquent, et ce sont celles qui la rendraient actionnable.
Aucune demande. La déclaration dit que ces questions « doivent être traitées d'urgence, dans la communauté mathématique, par les entreprises qui développent ces technologies et, plus largement, par une société qui affrontera des problèmes similaires », et s'arrête là. Aucune norme n'est proposée : pas de demande que les annonces s'accompagnent d'une rédaction complète, pas de convention d'embargo, pas de standard d'attribution, pas d'appel aux laboratoires à vérifier auprès des mathématiciens travaillant le même problème avant de publier, pas de position sur l'entraînement de modèles sur des brouillons non publiés. Chacun de ces points a un cas vivant dans le différend Navier-Stokes. La déclaration de Leyde, en juin, était tout aussi générale ; trois mois et un différend majeur plus tard, une seconde déclaration générale émanant d'un groupe plus restreint et plus éminent est un signal de gravité croissante, mais ce n'est pas encore une proposition.
Aucun nom. Aucune entreprise, aucun modèle, aucun incident n'est identifié. C'est vraisemblablement délibéré — une déclaration signée par 25 personnes sur cinq décennies est plus facile à réunir si elle n'accuse personne — mais cela signifie que les laboratoires peuvent, et vont probablement, y répondre en l'approuvant. OpenAI a cité Leyde avec approbation en juillet et a quand même annoncé Navier-Stokes comme elle l'a fait en septembre.
Rien sur la vérification. Le mot « Lean » n'apparaît pas, ni la vérification formelle sous aucune forme. C'est une omission notable, étant donné que la preuve formelle est le mécanisme par lequel plusieurs signataires, Tao au premier chef, ont travaillé avec l'IA de la façon la plus productive, et que c'est le seul outil qui traite directement le problème « vrai/faux » que nomme la déclaration : une preuve vérifiée par machine règle au moins la partie vrai/faux, laissant la compréhension comme le reste honnête. Que les signataires considèrent la formalisation comme une partie de la solution ou une partie du problème de production de masse n'est pas quelque chose que le texte permet de déterminer.
Il y a aussi une tension que la déclaration porte sans la résoudre. Elle dit que l'IA « offre le potentiel d'améliorer et d'accélérer l'étude et la compréhension mathématiques authentiques » et que la profession « devra s'adapter ». Plusieurs signataires ont été des adoptants enthousiastes. La position du document n'est pas contre l'IA en mathématiques mais contre une structure d'incitations spécifique, et il serait plus fort s'il disait quels usages il considère comme alignés, puisque « les décisions des humains qui contrôlent cette nouvelle technologie », dont il dit qu'elles détermineront l'issue, incluent les décisions des signataires eux-mêmes sur ce à quoi ils choisissent de collaborer.
Qui a signé, et qui ne l'a pas encore fait
Vingt-cinq noms représentent une grande fraction des médaillés Fields vivants, et la liste couvre chaque décennie du prix depuis les années 1970. Toute la promotion 2022 a signé. Deux de la promotion 2018, Alessio Figalli et Peter Scholze, ont signé, tout comme Caucher Birkar. Ne figurent pas sur la liste initiale plusieurs médaillés vivants, parmi lesquels Timothy Gowers, Akshay Venkatesh, Edward Witten et Alain Connes. Le message de Tao dit que des signataires supplémentaires sont bienvenus « comme pour la déclaration de Leyde », qui est passée d'un groupe initial à plus d'un millier de noms, de sorte que la liste initiale doit se lire comme le groupe fondateur plutôt que comme un recensement. Les absences méritent d'être suivies précisément parce que certains d'entre eux, Gowers en particulier, ont été parmi les mathématiciens les plus publiquement engagés sur l'IA, dans un sens ou dans l'autre.
À surveiller
- Le nombre de signataires et sa composition. Si la page suit le chemin de Leyde, la question intéressante est de savoir si elle reste une déclaration de mathématiciens ou si elle recueille des signatures des autres « professions scientifiques et créatives » auxquelles elle s'adresse explicitement.
- Si un laboratoire répond par un engagement plutôt qu'une approbation. Le test est un changement de pratique concret : rédaction avant annonce, vérification des travaux antérieurs, ou politique sur les données d'entraînement pour les brouillons mathématiques non publiés. L'accord de principe est ce qui s'est passé après Leyde.
- Si une déclaration complémentaire fournit les demandes. Vingt-cinq médaillés Fields s'accordant sur un diagnostic, c'est inhabituel. Vingt-cinq s'accordant sur un ensemble de normes le serait davantage, et serait bien plus difficile à approuver du bout des lèvres pour les laboratoires.
- La rédaction de Navier-Stokes. Le grief central de la déclaration porte sur les annonces sans rédaction convenable et sans citation des travaux antérieurs. Que l'éventuel article d'OpenAI crédite les travaux d'août de Buckmaster et Alpöge, et réponde à la question des données d'entraînement, est le premier cas à l'aune duquel la déclaration sera mesurée.