Chinchilla, expliqué — et l'article de Meta FAIR qui vient de trouver son angle mort

En 2022, DeepMind a entraîné un modèle de 70 milliards de paramètres sur 1 400 milliards de tokens, l'a comparé à son propre Gopher de 280 milliards de paramètres entraîné sur 300 milliards de tokens, avec le même budget de calcul — et le plus petit modèle a gagné, largement. Ce plus petit modèle s'appelait Chinchilla, et l'article expliquant pourquoi il gagnait est devenu l'un des documents les plus déterminants de l'IA moderne : la raison pour laquelle tout entraînement sérieux depuis réfléchit sérieusement au nombre de tokens par paramètre, pas seulement au nombre de paramètres.

Un article de Meta FAIR publié aujourd'hui revient sur cette formule, teste une hypothèse inscrite dans ses mathématiques, découvre qu'elle ne tient pas, et montre que l'écart compte d'autant plus qu'on monte en échelle.

Ce qu'est réellement Chinchilla

Avant Chinchilla, la recette de mise à l'échelle dominante venait de Kaplan et al. (2020), chez OpenAI, et sa lecture pratique était : quand on gagne du calcul, on le dépense surtout sur un modèle plus gros. C'est cette filiation qui a produit GPT-3 — 175 milliards de paramètres, entraîné sur environ 300 milliards de tokens, un ratio de moins de 2 tokens par paramètre.

Chinchilla — formellement Hoffmann et al., « Training Compute-Optimal Large Language Models » — a repris cette question correctement : pour un budget de calcul d'entraînement fixe $C$ , quelle répartition entre taille du modèle $N$ (paramètres) et taille du jeu de données $D$ (tokens) minimise réellement la perte ? Leur réponse, après avoir entraîné des centaines de modèles à tailles et budgets de tokens variés : la taille du modèle et la donnée doivent croître à peu près au même rythme. Pas « modèle plus gros, quelles que soient les données disponibles » — les deux croissent ensemble. La règle empirique qui en est ressortie est aujourd'hui du folklore industriel : environ 20 tokens par paramètre pour un entraînement compute-optimal. Chinchilla lui-même a été entraîné à un ratio proche de celui-ci, et a battu Gopher, GPT-3 et Megatron-Turing NLG — tous plus gros, tous entraînés sur relativement peu de données — à coût d'entraînement égal ou inférieur.

La formule, et l'hypothèse qui s'y cache

Chinchilla modélise la perte comme une somme de trois termes :

$L(N, D) = E + \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}}$

$E$ est la perte irréductible — l'entropie du langage lui-même, le plancher qu'aucun modèle n'atteint, quelle que soit sa taille ou la quantité de données vues. $A/N^{\alpha}$ est l'erreur due à un modèle fini — trop peu de paramètres pour représenter tout ce que les données pourraient lui enseigner. $B/D^{\beta}$ est l'erreur due à des données finies — même un modèle parfait ne peut apprendre ce qu'il n'a pas assez vu. On ajuste $A$ , $B$ , $\alpha$ , $\beta$ et $E$ sur une grille d'entraînements, et on peut prédire la perte d'un entraînement qu'on n'a pas encore fait — y compris, c'est crucial, des entraînements bien plus grands que tout ce qui figure dans la grille. C'est là toute la valeur économique d'une loi de mise à l'échelle : elle permet à un laboratoire de dépenser une petite fraction d'un budget d'entraînement de pointe sur de petites expériences et d'extrapoler la décision coûteuse.

Remarquez toutefois la structure : c'est une somme. $N$ et $D$ reçoivent chacun leur propre terme indépendant, additionné. C'est un choix de modélisation, pas une loi physique, et cela a une conséquence mathématique précise : la dérivée seconde croisée est identiquement nulle :

$\frac{\partial^2 L}{\partial N \, \partial D} \equiv 0$

En clair : la formule de Chinchilla suppose que l'aide apportée par un modèle plus gros ne dépend pas de la quantité de données disponible, et que l'aide apportée par plus de données ne dépend pas de la taille du modèle. Les deux axes sont supposés ne pas communiquer du tout.

Comment elle est utilisée — et son astérisque connu

Pour un budget de calcul $C = 6ND$ (l'approximation standard en FLOPs d'un passage avant-arrière de transformeur), minimiser la perte de Chinchilla sous cette contrainte a une solution en forme close : $N^*$ et $D^*$ croissent chacun comme une puissance de $C$ , et — parce que les $\alpha$ et $\beta$ ajustés par Chinchilla se sont révélés proches l'un de l'autre — cette puissance est proche de $0{,}5$ pour les deux. Doublez votre calcul, et un entraînement compute-optimal double à peu près à la fois votre modèle et votre nombre de tokens.

Deux choses méritent d'être sues avant de traiter cela comme parole d'évangile. D'abord, une réplication indépendante (Besiroglu et al., 2024) a trouvé que les intervalles de confiance rapportés autour des chiffres ajustés originaux de Chinchilla étaient improbablement étroits compte tenu des données sous-jacentes — vraisemblablement une erreur dans le tableau A.3 de l'article original — même si le réajustement de cette réplication a globalement reconfirmé le résultat phare des ~20 tokens par paramètre. Ensuite, et plus lourd de conséquences en pratique : Chinchilla optimise l'efficacité du calcul d'entraînement, pas le coût total d'un modèle qu'on va servir à des millions d'utilisateurs pendant des années. Un modèle plus petit entraîné sur plus de tokens que le ratio Chinchilla-optimal coûte plus cher à l'entraînement et moins cher à faire tourner ensuite, indéfiniment — c'est précisément pourquoi LLaMA et la plupart des modèles de production depuis ont été délibérément entraînés bien au-delà du ratio Chinchilla-optimal. La formule répond à « qu'est-ce qui minimise la perte pour ce nombre de FLOPs », pas à « qu'est-ce qui minimise le coût total de possession » — deux questions différentes, avec des ratios optimaux différents.

Skaling : tester directement l'hypothèse d'indépendance

D'où l'article du jour. Plutôt que de partir d'une forme fonctionnelle et de l'ajuster, Videau, Youbi-Idrissi, Lopez-Paz et Ahuja (FAIR chez Meta) partent des données et posent la question à laquelle la formule additive répond par hypothèse : la dérivée croisée est-elle vraiment nulle ?

Ils l'estiment directement — de façon non paramétrique, sans se fixer sur une formule de mise à l'échelle au préalable — sur deux grilles d'entraînements réels : Farseer, un jeu de données public de 404 configurations taille-de-modèle/budget-de-tokens, et leur propre SK-Grid, 134 configurations entraînées spécifiquement pour cet article. À l'aide de deux estimateurs indépendants (un ajustement local par moindres carrés mobiles et un processus gaussien), les deux s'accordent : $\partial^2 L / \partial N \partial D$ n'est nulle nulle part sur la grille. Elle est systématiquement négative, et suit sa propre décroissance en loi de puissance. Faire croître la taille du modèle et la donnée ensemble réduit la perte davantage que la somme de chaque effet pris isolément — une vraie synergie entre les deux axes, qu'une formule additive ne peut représenter, aussi bien ses termes individuels soient-ils ajustés.

Le correctif : un paramètre de plus

La loi Skaling proposée conserve la structure interne interprétable de Chinchilla — les mêmes $A$ , $B$ , $\alpha$ , $\beta$ — mais change la façon dont les deux termes se combinent :

$L(N, D) = \left( \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}} \right)^{k} + E$

Un nouveau paramètre, $k$ , enveloppant l'ensemble de la parenthèse. Posez $k = 1$ et c'est exactement Chinchilla — les deux lois sont emboîtées, pas des concurrentes reparties de zéro. Pour tout $k \neq 1$ , l'exposant externe réintroduit exactement le type de couplage entre $N$ et $D$ que possédait la formule de Kaplan (et que la refonte de Chinchilla avait abandonné), sans réenchevêtrer les termes internes proprement séparables de Chinchilla. C'est un correctif minimal, délibérément : un paramètre, pour corriger un défaut structurel précisément diagnostiqué.

Ce que ça change une fois corrigé

Les gains se concentrent exactement là où on l'attendrait si le diagnostic est juste : aux frontières de la grille d'entraînement, là où $N$ et $D$ sont le plus déséquilibrés — un modèle énorme privé de données, ou un petit modèle noyé sous les données. C'est précisément là que forcer l'indépendance devrait faire le plus de mal, et c'est le cas. Sur la grille Farseer, l'erreur d'extrapolation sur un seul axe passe de 1,48% à 0,47% (tailles de modèle plus grandes) et de 1,98% à 0,88% (budgets de tokens plus grands). Sur la grille propre des auteurs, l'erreur d'extrapolation lointaine passe de 5,17% à 0,70%. Skaling bat aussi une loi de mise à l'échelle publiée séparément, bien plus paramétrée (9 paramètres), sur ces mêmes frontières — preuve que le gain vient du fait de correspondre à la bonne structure, pas simplement d'ajouter des paramètres libres à ajuster.

Le résultat qui mérite le plus qu'on s'y attarde est le test d'extrapolation en calcul : prédire les entraînements les plus coûteux du jeu de données en n'utilisant que des entraînements bon marché, à faible calcul, pour ajuster la loi — le cas d'usage réel d'une loi de mise à l'échelle. Divisé en régimes sous-entraîné, quasi-optimal et sur-entraîné selon le ratio tokens/paramètres, Chinchilla est le plus faible précisément dans la bande optimale — 3,47% de MAPE, son pire régime — tandis que Skaling reste sous 1% dans chaque régime, une réduction de 3,9× au global. La loi additive est la moins fiable précisément là où un laboratoire prévoit réellement d'entraîner.

Et le chiffre pratique : extrapolé d'un ordre de grandeur au-delà des données actuelles, à $2\times10^{25}$ FLOPs — un territoire de modèle de pointe véritable — l'optimum en forme close de Chinchilla prédit un ratio tokens/paramètres restant à peu près plat, dérivant vers ~380 tokens par paramètre. Skaling, et l'estimation de gradient non paramétrique brute indépendamment, prédisent au contraire que le ratio devrait retomber à 20–40. Un désaccord de plus de 10×, exactement à l'échelle où des laboratoires de pointe comme DeepSeek verrouillent un ratio fixe et bâtissent un entraînement autour.

Les réserves honnêtes

L'article prend soin de ne pas survendre le résultat. La force du couplage n'est pas universelle : sur l'équivalent en code de Farseer et sur les mesures Chinchilla originales elles-mêmes, le $k$ ajusté ressort bien plus proche de 1 ( $k \approx 0{,}77$ – $0{,}90$ ) que sur les grilles principales de l'article ( $k \approx 0{,}31$ – $0{,}45$ ), et l'avantage de Skaling se réduit en conséquence — quand la surface réelle est effectivement proche de l'additivité, il n'y a rien à gagner du paramètre supplémentaire. La direction de la correction n'est pas universelle non plus : sur Farseer, les exposants ajustés impliquent que le ratio optimal devrait baisser à mesure que le calcul augmente, mais sur le SK-Grid propre des auteurs, les exposants pointent dans l'autre sens, vers un ratio croissant. Leur conclusion reste à raison mesurée — le couplage change l'allocation à grande échelle, et la direction de ce changement dépend des données et de l'architecture ajustées, pas d'une constante universelle.

À surveiller ensuite

Voir si une recette de profilage bon marché se répand. La stratégie d'échantillonnage « en L » de l'article — balayer le volume de données pour de petits modèles, balayer la taille de modèle à budget de tokens petit et fixe, sauter l'intérieur coûteux de la grille — retrouve la précision de la grille complète pour environ 10× moins de calcul de profilage, parce que la forme fonctionnelle ancrée aux frontières peut inférer l'interaction depuis les bords seuls. C'est un résultat pratique valable indépendamment de l'adoption de Skaling lui-même.
Voir si le folklore des « 20 tokens par paramètre » gagne un astérisque dépendant de l'échelle. Si la prédiction de Skaling se confirme au calcul de pointe réel, le bon ratio n'est pas une constante — c'est un chiffre qui se déplace avec l'échelle, et la direction de ce déplacement dépend de l'architecture et du mélange de données.
Attendre une réplication indépendante à échelle de production. Tout ceci est ajusté et validé par validation croisée sur des grilles allant jusqu'à $10^{22}$ FLOPs et extrapolé d'un ordre de grandeur au-delà ; savoir si l'écart de ratio optimal ×10 survit à un véritable entraînement de pointe est le test qui tranchera réellement.

Références : Videau, Youbi-Idrissi, Lopez-Paz et Ahuja — Skaling: Chinchilla's Exponents Meet Kaplan's Coupling (arXiv:2608.07222) · Hoffmann et al. — Training Compute-Optimal Large Language Models (arXiv:2203.15556) · Kaplan et al. — Scaling Laws for Neural Language Models (arXiv:2001.08361) · Besiroglu et al. — Chinchilla Scaling: A Replication Attempt (arXiv:2404.10102) · couverture liée : Comprendre la quantification des modèles d'IA · Ce que Mamba oublie