Kimi K3 : le plus grand modèle en poids ouverts à ce jour

Moonshot AI a annoncé Kimi K3 le 16 juillet 2026 — un modèle Mixture-of-Experts de 2,8 billions de paramètres que l'entreprise présente comme désormais le plus grand modèle en poids ouverts au monde. Les premiers rapports l'indiquent comme acheminant vers 16 des 896 experts par token (environ 50 Md actifs), bien que Moonshot n'ait pas officiellement confirmé le nombre exact de paramètres actifs.

Cet article a été rédigé le jour du lancement et mis à jour trois fois à mesure que l'actualité évoluait — une accusation, une publication des poids, un rapport technique. Il est désormais organisé autour de cette chronologie plutôt qu'autour du modèle, car dans le cas de K3, les dates se sont révélées être l'argument.

D'où vient K3

K3 n'est pas apparu de nulle part, et le rythme de sorties qui le précède mérite d'être détaillé :

Cela fait cinq sorties majeures en douze mois avant K3, avec un saut architectural important environ chaque trimestre. L'écart entre K2 et K3 est de presque exactement un an, période durant laquelle le modèle est passé de 1,04T à 2,78T paramètres et de 128K à 1M de contexte d'entraînement.

Deux choses en découlent. D'abord, l'effet cumulatif est visible dans les artefacts eux-mêmes, pas seulement dans les numéros de version : le MoonViT-3D de K2.5 est devenu le MoonViT-V2 de K3, les essaims d'agents de K2.6 sont devenus le RL agentique de K3, le travail de codage de K2.7 est devenu le harnais Kimi Code sous lequel tournent les benchmarks de K3. Ensuite — et cela devient important plus loin — un laboratoire qui publie à ce rythme laisse une trace publique. C'est sur cette trace que finit par reposer l'argument de juillet.

Deux nouveaux éléments d'architecture

K3 s'appuie sur deux composants développés en interne : Kimi Delta Attention (KDA), un mécanisme d'attention linéaire affinant le Gated DeltaNet avec un contrôle plus fin sur la mémoire récurrente du modèle — offrant, selon les rapports, un décodage jusqu'à 6,3 fois plus rapide sur des contextes d'un million de tokens — et Attention Residuals, décrit comme un remplacement direct des connexions résiduelles standard qui apporte des gains constants à mesure que le modèle passe à l'échelle. Combiné à une fenêtre de contexte de 1M de tokens et à une compréhension visuelle native, c'est un pari de Moonshot sur l'efficacité à grande échelle plutôt que sur le simple ajout de paramètres.

Un raisonneur toujours actif

Contrairement aux modèles qui basculent entre un mode rapide et un mode « réflexion », K3 est livré avec le raisonnement activé par défaut — Moonshot appelle cela le « mode réflexion », et ce n'est pas quelque chose que l'on active pour les problèmes difficiles, c'est simplement ainsi que le modèle fonctionne.

Là où il se situe réellement

Sur GDPval-AA v2 — un benchmark couvrant des tâches réelles dans 44 métiers et 9 secteurs — K3 a obtenu un score de 1 687, bon pour la troisième place au classement général, derrière seulement Claude Fable 5 Max (1 815) et GPT-5.6 Sol Max (1 747,8), et devant Claude Opus 4.8 (1 600). Dans les benchmarks d'automatisation de tâches, il a même pris la première place dans quatre catégories sur huit, dont Automation Bench, SpreadsheetBench 2 et BrowseComp — des domaines où les scores bruts de benchmark ne prédisent pas toujours qui l'emporte sur un travail réel et désordonné.

La tarification raconte sa propre histoire : 15 $par million de tokens en sortie, bien au-dessus des 4,40$ de GLM-5.2 ou des 0,87 $ de DeepSeek V4, mais toujours une fraction de ce que facture la frontière fermée pour une capacité comparable — à peu près des performances de classe Opus-4.8 à une tarification plus proche de celle de l'ère Sonnet-5.

Pas encore disponible, mais presque

(Écrit le 16 juillet.) L'annonce est tombée juste avant la Conférence mondiale sur l'intelligence artificielle 2026 à Shanghai. Les poids complets du modèle doivent suivre le 27 juillet — pour l'instant, K3 est donc davantage une histoire de benchmarks qu'un modèle téléchargeable, mais si les chiffres tiennent une fois les poids publics, c'est un marqueur sérieux de la proximité entre modèles en poids ouverts et frontière fermée.

Ils ont tenu, et les poids sont arrivés en avance. Ce qui s'est passé entre-temps constitue le reste de cet article.

Douze jours en juillet

Le reste de cet article couvre les douze jours entre l'annonce de K3 et la publication de ses poids — plus la date antérieure dont dépend tout le reste. Présenter les faits par date compte, car la compression est justement l'histoire : tout un cycle politique s'est déroulé en moins de deux semaines, et le modèle au centre de tout cela est sorti quand même.

Quinze jours entre la disponibilité publique de Fable 5 et le lancement de K3. Six jours du lancement à une accusation de la Maison-Blanche. Dix jours entre cette accusation et la réponse de Moonshot par du code source plutôt qu'une déclaration — ils n'en ont d'ailleurs toujours publié aucune.

Mise à jour (22 juillet) : la Maison-Blanche accuse Moonshot d'avoir distillé Claude Fable

Six jours après le lancement, l'histoire autour de K3 est devenue beaucoup plus incisive. Michael Kratsios, tsar de l'IA et des cryptomonnaies à la Maison-Blanche, a publié que les États-Unis disposent d'informations selon lesquelles Moonshot AI a distillé le Fable d'Anthropic pour construire K3 — non pas le type de distillation ordinaire et légitime utilisé dans tout le secteur pour créer des modèles plus petits et efficaces, mais ce qu'il a décrit comme une « plateforme interne sophistiquée pour mener une distillation à grande échelle contre des modèles américains », conçue spécifiquement pour permettre à Moonshot de « basculer rapidement entre plusieurs méthodes d'accès afin d'échapper à la détection ». Il a également allégué que Moonshot avait acquis des serveurs équipés de GB300 et accédé à des GB300 en Thaïlande, probablement pour entraîner ses modèles — un détail qui importe car les GB300 sont soumis aux contrôles américains à l'exportation.

Ce n'est pas la première version de cette accusation. Anthropic elle-même avait déclaré en février 2026 que Moonshot, aux côtés de DeepSeek et MiniMax, avait mené des attaques de distillation à grande échelle contre Claude. Ce qui est nouveau, c'est qu'il s'agit désormais d'une allégation formelle du gouvernement américain, nommant explicitement le modèle précis dont traite cet article — et qui recadre sous un jour très différent les chiffres phares de K3 (plus grand modèle en poids ouverts, performances compétitives face à Fable, fraction du prix) si l'accusation se confirme. Moonshot n'a pas répondu publiquement à ce jour.

Mise à jour (27 juillet) : les poids sont arrivés — et l'usine aussi

Moonshot a livré, avec un jour d'avance. Les poids sont sortis le 26 juillet plutôt que le 27 promis, sous la licence Kimi K3 — des conditions permissives de type MIT, un accord séparé n'étant requis que pour les entreprises exploitant un service de Model-as-a-Service générant plus de 20 M$ de revenus sur douze mois. C'est une restriction plus étroite que ne le laissait entendre « MIT modifié » : elle vise les revendeurs cloud, pas les chercheurs.

Deux corrections à ce qui précède, maintenant que la fiche du modèle est publique. Les paramètres actifs sont de 104 Md, pas ~50 Md — 16 des 896 experts routés plus 2 partagés, sur 93 couches. Et le chiffre GDPval-AA v2 dans le tableau propre de Moonshot est de 1 686, contre 1 747 pour Fable 5 et 1 736 pour GPT-5.6 Sol. L'architecture comprend 69 couches KDA entrelacées avec 24 couches Gated MLA, et les poids publiés sont nativement en MXFP4 — un entraînement sensible à la quantification dès l'étape SFT, et non une compression a posteriori. Pour un modèle de 2,8T, c'est la différence entre « ouvert » et « réellement exécutable ».

Mais les poids sont l'élément le moins intéressant que Moonshot ait publié cette semaine.

Ils ont mis l'usine en open source, pas seulement le produit

Aux côtés de K3 est venue l'infrastructure qui l'a construit — quatre éléments distincts :

MoonEP est une bibliothèque de communication pour le parallélisme d'experts, et elle existe précisément pour résoudre le problème que crée un modèle à 896 experts. Lorsque chaque token est acheminé vers 16 des 896 experts, l'acheminement n'est jamais équilibré : certains experts sont submergés, d'autres inactifs, et comme une étape d'entraînement se termine lorsque le rang le plus lent termine, votre temps d'itération est déterminé par le GPU le plus sollicité. L'astuce de MoonEP consiste en des experts redondants dynamiques — il planifie en ligne un petit nombre d'experts dupliqués à partir des sorties actuelles du routeur et les précharge, de sorte que chaque rang reçoive exactement le même nombre de tokens, quelle que soit l'ampleur du déséquilibre de routage. Leurs benchmarks face au DeepEP v2 de DeepSeek montrent le gain : le temps d'itération de DeepEP augmente régulièrement à mesure que le déséquilibre s'accroît et finit carrément par saturer la mémoire (OOM), car les formes d'activation changeantes fragmentent la mémoire GPU. MoonEP reste stable, car les formes sont statiques par construction.

AgentENV est celui qui explique les scores agentiques de K3. C'est une plateforme pour exécuter des microVM Firecracker à grande échelle, et le README indique clairement qu'elle alimente « l'entraînement RL agentique de Kimi K3 ». Les environnements démarrent ou reprennent en moins de 50 ms et se mettent en pause en moins de 100 ms ; un environnement en cours d'exécution peut se scinder en plusieurs sandbox indépendants pour des déploiements parallèles ; les images se chargent à la demande via overlaybd, de sorte que l'ensemble d'images peut dépasser le disque local. Si l'on veut entraîner un modèle en le laissant réellement utiliser un terminal plusieurs centaines de millions de fois, c'est ceci — et non le code du modèle — qui constitue la partie difficile. Elle expose une API compatible E2B, il suffit donc de pointer le SDK E2B standard dessus sans modification.

FlashKDA est l'implémentation en noyau CUTLASS de Kimi Delta Attention, et sa date est l'élément le plus intéressant à son sujet. Elle est ouverte depuis le 22 avril 2026 — trois mois avant le lancement de K3, et plus de deux mois avant que Claude Fable 5 ne soit publiquement disponible. Elle est intégrée en amont dans flash-linear-attention, si bien que n'importe qui peut appeler chunk_kda et obtenir les noyaux de Moonshot. Retenez ce calendrier ; il revient plus loin.

PerceptionBench est un benchmark plutôt qu'une infrastructure, et c'est le plus lucide des quatre. Plutôt qu'une énième évaluation visuelle holistique, il isole la perception atomique : les auteurs ont diagnostiqué le tout premier point d'échec dans les réponses des modèles de pointe sur 42 benchmarks existants, en ont tiré une taxonomie des erreurs, et ont rédigé 3 000 questions vérifiées, chacune ciblant exactement l'une des dix capacités perceptives, la difficulté provenant de la vision plutôt que du raisonnement.

Le benchmark qu'ils ont publié et sur lequel ils sont arrivés deuxièmes

Le résultat principal est négatif : aucun modèle n'atteint 60 %. La perception visuelle atomique — compter, évaluer la profondeur, localiser, dire si deux choses sont de la même couleur — reste très largement non résolue sur seize modèles de pointe, et l'article note que des scores globaux similaires masquent des profils de capacité fortement divergents. La colonne hallucination illustre le propos : GPT-5.6 Sol l'emporte au global tout en affichant 26,9 sur l'hallucination liée à la perception, là où K3 affiche 41,7 et Fable 5 est en tête avec 45,0. Classer ces modèles selon un seul chiffre a toujours masqué quelque chose.

Publier un benchmark sur lequel son propre modèle phare arrive deuxième est un vrai geste de crédibilité, et il faut le souligner. Ce n'est pas un blanc-seing pour autant — c'est le benchmark de Moonshot, construit à partir de la taxonomie de Moonshot, noté par un juge LLM — mais ils ne l'ont manifestement pas conçu pour gagner.

Cela renforce-t-il la publication, ou non ?

Globalement oui, et d'une manière que les tableaux de benchmarks ne captent pas.

Les poids sont un instantané ; l'infrastructure est une capacité. Un point de contrôle de 2,8T est extrêmement utile et totalement inerte — on peut l'exécuter, l'affiner, et c'est tout. MoonEP et AgentENV sont réutilisables par quiconque entraîne un grand MoE épars ou fait du RL agentique, y compris les concurrents de Moonshot. C'est une posture nettement plus ouverte que la simple publication des poids, et c'est l'inverse de ce que fait un laboratoire quand son avantage est un secret.

Cela s'inscrit aussi, délibérément ou non, en plein cœur de la controverse sur la distillation. On ne construit pas une bibliothèque d'équilibrage de charge pour le parallélisme d'experts et un harnais RL Firecracker si sa méthode consiste à copier les sorties de quelqu'un d'autre. Les deux artefacts sont la preuve d'une organisation menant un travail coûteux de pré-entraînement et d'infrastructure RL à l'échelle de la frontière, et les deux sont désormais inspectables. C'est une réfutation plus solide de l'accusation de Kratsios que n'importe quelle déclaration que Moonshot aurait pu publier — ce qu'ils n'ont toujours pas fait.

La preuve la plus solide est un horodatage

Mettons un instant les artefacts de côté et regardons simplement le calendrier.

Claude Fable 5 est devenu publiquement disponible le 1er juillet. K3 a été lancé le 16 juillet. C'est la fenêtre de deux semaines que les sceptiques pointent depuis le début — un délai très court pour distiller secrètement un modèle de pointe, entraîner un MoE de 2,8T sur ses sorties, et le publier.

Mais l'enchaînement remonte bien plus loin que cette quinzaine. FlashKDA — l'implémentation en noyau du mécanisme d'attention sur lequel K3 est construit — était publique le 22 avril, deux mois et demi avant que Fable 5 n'existe en tant que produit interrogeable. Les recherches sur KDA et Attention Residuals la précèdent encore davantage. Les courbes d'efficacité d'échelle 2,5× du rapport technique décrivent un entraînement, et le pré-entraînement d'un modèle de 2,8T se mesure en mois, pas dans les quinze jours disponibles.

Le calendrier limite donc ce que l'accusation peut cohéremment signifier. L'architecture de K3 précède manifestement le modèle dont on l'accuse d'avoir copié. Toute version restante de l'accusation doit porter sur les données de post-entraînement — des sorties récoltées pour façonner le comportement — apposées sur un modèle dont les fondations étaient déjà posées et publiquement documentées. C'est une accusation bien plus étroite que « a distillé Fable pour construire K3 », et c'est une accusation à laquelle la publication ne répond véritablement pas.

C'est là la limite honnête. L'infrastructure d'entraînement démontre une capacité, pas la provenance des données. MoonEP prouve que Moonshot peut entraîner efficacement un immense MoE ; cela ne dit rien sur le contenu du corpus. Les horodatages prouvent que l'architecture n'a pas été copiée ; ils ne prouvent pas que les données de post-entraînement étaient propres. Les publications rendent l'accusation telle qu'énoncée beaucoup moins plausible sans réfuter une version plus étroite de celle-ci.

Deux autres éléments méritent d'être notés. Les benchmarks de MoonEP tournent sur des puces H20 — conformes aux contrôles d'exportation — tout comme plusieurs des propres évaluations de K3, ce qui constitue un contrepoint discret à l'affirmation selon laquelle K3 dépendait de GB300 introduits clandestinement. Et AgentENV est livré avec un avertissement sans détour indiquant qu'il ne dispose d'aucune prise en charge de l'autorisation et ne doit pas être exposé à un réseau public, ce qui rappelle utilement que « publié en open source aux côtés d'un modèle de pointe » ne signifie pas « durci pour la production ».

Le résumé honnête : les poids ont rendu K3 téléchargeable, mais c'est l'infrastructure qui le rend reproductible en principe. Pour une publication dont la question centrale contestée est « l'ont-ils vraiment construit », publier les outils qui l'ont construit est la réponse la plus convaincante disponible.

Mise à jour (27 juillet) : ce qu'apporte le rapport technique

Publié avec les poids, le rapport complet de 47 pages précise ce que la fiche du modèle ne faisait qu'esquisser — et, à l'aune du calendrier ci-dessus, la plupart de ce qu'il décrit n'aurait pas pu se produire en juillet.

L'histoire de l'échelle, c'est l'efficacité, pas la taille

K3 compte 2,7× le nombre de paramètres de K2, mais l'affirmation de Moonshot est que les changements d'architecture ont acheté un gain d'environ 2,5× en efficacité d'échelle — mesuré comme des courbes de lois d'échelle ajustées sur des données de validation hors distribution mises de côté, et non comme un simple écart de benchmark. La comparaison complète :

La ligne inchangée est la plus intéressante. K3 s'est développé en profondeur et en parcimonie, pas en largeur — plus de couches, plus d'experts, plus d'experts actifs, même dimension cachée. Ils ont aussi relancé des recherches de lois d'échelle pour la taille de lot, le taux d'apprentissage et le nombre de tokens par paramètre plutôt que d'hériter de celles de K2, et ont constaté que la décroissance cosinus surpassait le Warmup-Stable-Decay — avec la réserve, énoncée avec soin, que les deux calendriers ont des hyperparamètres optimaux si différents que les comparer dans un cadre partagé favorise injustement celui des deux auquel ce cadre partagé convient le mieux.

Une autre note architecturale à signaler : la vision est entraînée conjointement dès le départ, avec des tokens visuels et textuels entrelacés sous un unique objectif de prédiction du prochain token — et non un encodeur visuel greffé a posteriori sur un modèle de langage déjà achevé par alignement. C'est le chemin le plus difficile, et cela concorde avec les performances inhabituellement solides de K3 sur OmniDocBench et Video-MME.

K3 a conçu une puce, et le RTL est public

La section des études de cas est celle qui suscitera le plus de débats. Deux artefacts, tous deux produits par K3 plutôt qu'utilisés pour le construire, et tous deux publiés en open source :

MiniTriton — un compilateur GPU compact de type Triton écrit par K3 : un frontend Python personnalisé au niveau des tuiles, une couche d'annotation MLIR au niveau des warps, une génération de code PTX, plus une bibliothèque de tenseurs à double mode avec autograd en mode inverse et primitives distribuées NCCL. Sur un L20, il surpasse PyTorch eager et torch.compile en moyenne géométrique sur sa suite de benchmarks, et son produit matriciel sur tensor core écrit de zéro atteint environ 90 % du plafond machine mesuré. Il entraîne un modèle GPT de bout en bout avec des gradients correspondant à ceux de torch autograd à l'erreur d'arrondi fp32 de torch elle-même près.

nano-kpu — un prototype de puce d'inférence. En une seule session autonome de 48 heures avec Kimi Code, K3 a conçu, optimisé et vérifié une puce à l'aide d'outils EDA open source par rapport à la bibliothèque de cellules standard Nangate45. Dans un budget de surface de 4 mm², il ferme le timing à 100 MHz et atteint un débit de décodage simulé en RTL de plus de 8 700 tokens/s, avec 1,46 million de cellules standard, 0,277 Mio de SRAM et un tableau MAC INT4 avec déquantification fusionnée.

Les deux sont des preuves de capacité plutôt que des produits, et « simulé en RTL » fait tout le travail dans cette phrase — aucun silicium n'existe. Mais une session autonome de 48 heures produisant une conception dont le timing est fermé est une affirmation agentique nettement plus concrète qu'une position au classement, et contrairement à un score de benchmark, le résultat est inspectable.

Le rapport utilise le mot « distillation » — avec précaution

Compte tenu de l'accusation ci-dessus, cela mérite d'être précisé. Le pipeline de post-entraînement de K3 repose explicitement sur la distillation : SFT pour un démarrage à froid, puis RL pour développer des experts spécialisés par domaine à différents niveaux d'effort de raisonnement, puis Multi-Teacher On-Policy Distillation (MOPD) pour consolider ces experts en un seul modèle.

Chaque enseignant y est propre à Moonshot. Il s'agit d'auto-distillation entre leurs propres points de contrôle spécialisés — le type ordinaire, standard dans le secteur, et exactement la technique que Kratsios a explicitement exclue comme légitime. Ce n'est une preuve ni pour ni contre l'accusation, qui portait sur la distillation du modèle d'Anthropic, et le rapport reste muet sur cette question. Il ne contient aucune section sur la décontamination ou la provenance des données.

Ce que le rapport fournit, c'est un compte rendu détaillé d'une organisation menant un travail original très coûteux : orthogonalisation Muon par tête, parallélisme de contexte KDA dérivé de premiers principes avec preuves en annexe, une bibliothèque EP personnalisée avec sa propre preuve de borne supérieure. Rien de tout cela ne ressemble à de la copie. Rien de tout cela ne tranche non plus ce qui se trouvait dans le corpus.

Ils disent clairement qu'ils perdent

Le cadrage du résumé lui-même : la performance globale de K3 « reste en retrait par rapport aux modèles propriétaires les plus puissants, à savoir Claude Fable 5 et GPT-5.6 Sol », tout en battant systématiquement tout le reste de leur suite. Pour un document de lancement, nommer dans le résumé les deux modèles auxquels on perd est inhabituellement direct — et cela correspond aux tableaux de benchmarks, où K3 mène sur le travail agentique et de récupération et est en retrait sur HLE et GDPval.

Ce que dit l'horloge

Trois horloges différentes traversent cette histoire, et elles ne s'accordent pas de manière instructive.

L'horloge des sorties est rapide et s'accélère encore. Cinq modèles majeurs en douze mois avant K3, un saut architectural important chaque trimestre, de 1,04T à 2,78T paramètres en un an. Le jour où les poids de K3 sont arrivés, son prédécesseur immédiat avait six semaines.

L'horloge politique est encore plus rapide, et bien moins productive. Une proposition d'interdiction, une salve du Trésor, une accusation de la Maison-Blanche et une contre-coalition de 200 entreprises, du début à la fin en huit jours — pour aboutir, au final, à aucune loi, aucun décret exécutif, et les poids sur Hugging Face malgré tout. La seule chose sur laquelle tout le monde s'est accordé, c'est que les fichiers, une fois téléchargés, ne peuvent pas être rappelés. Le cycle politique s'est terminé plus vite que le cycle de sortie et n'a rien changé à celui-ci.

L'horloge de la recherche est la lente, et c'est celle qui tranche réellement les choses. KDA, Attention Residuals, le travail sur les lois d'échelle, FlashKDA en avril — tout cela a pris des trimestres, et c'est ce qui explique l'existence de K3. C'est aussi, accessoirement, pourquoi l'accusation la plus rapide de l'été ne colle pas aux faits : on ne peut pas comprimer une année de travail architectural dans une fenêtre de deux semaines, et l'habitude de Moonshot de publier en public a laissé une trace horodatée prouvant qu'ils n'avaient pas besoin de le faire.

C'est la leçon durable d'un mois qui a surtout produit du bruit. Dans un domaine aussi rapide, publier continuellement en ouvert n'est pas seulement une stratégie de distribution — c'est un alibi. Un laboratoire qui publie ses noyaux en avril n'a pas besoin de débattre de ce qu'il a construit en juillet. Le dossier plaide pour lui.

Reste à savoir si la prochaine étape sera K3.5 en octobre — à ce rythme, c'est moins une question qu'un calendrier.

Liens

• Annonce : Kimi K3 — Moonshot AI
• Accusation : Michael Kratsios sur X
• Poids : moonshotai/Kimi-K3 sur Hugging Face · rapport technique (PDF)
• Infrastructure : MoonEP · AgentENV · FlashKDA
• Construit par K3 : MiniTriton (compilateur GPU) · nano-kpu (RTL de puce d'inférence)
• Benchmark : PerceptionBench · jeu de données · page d'accueil