Kimi K3 : le plus grand modèle à poids ouverts à ce jour

Moonshot AI a annoncé Kimi K3 le 16 juillet 2026 — un modèle Mixture-of-Experts de 2,8 billions de paramètres que l'entreprise présente comme désormais le plus grand modèle à poids ouverts au monde. D'après les premiers comptes rendus, il achemine chaque token vers 16 des 896 experts, soit environ 50 milliards de paramètres actifs — un chiffre que Moonshot n'a toutefois pas confirmé officiellement.

Cet article a été écrit le jour du lancement, puis mis à jour trois fois au fil de l'actualité : une accusation, la publication des poids, un rapport technique. Il suit désormais cette chronologie plutôt que la description du modèle, car dans le cas de K3, ce sont les dates qui font l'argument.

D'où vient K3

K3 n'est pas sorti de nulle part, et la cadence de publication qui le précède mérite d'être détaillée :

Soit cinq sorties majeures en douze mois avant K3, avec un saut architectural notable à peu près chaque trimestre. Entre K2 et K3, il s'écoule presque exactement un an, au cours duquel le modèle passe de 1,04 à 2,78 billions de paramètres, et son contexte d'entraînement de 128 000 à un million de tokens.

Deux conséquences. D'abord, l'accumulation se lit dans les objets eux-mêmes, et pas seulement dans les numéros de version : le MoonViT-3D de K2.5 est devenu le MoonViT-V2 de K3, les essaims d'agents de K2.6 sont devenus son apprentissage par renforcement agentique, et le travail sur le code de K2.7 a donné Kimi Code, l'environnement dans lequel tournent les benchmarks de K3. Ensuite — et ce point deviendra décisif plus loin —, un laboratoire qui publie à ce rythme laisse une trace publique. C'est sur cette trace que reposera tout l'argument de juillet.

Deux nouveaux éléments d'architecture

K3 s'appuie sur deux composants développés en interne : Kimi Delta Attention (KDA), un mécanisme d'attention linéaire affinant le Gated DeltaNet avec un contrôle plus fin sur la mémoire récurrente du modèle — il permettrait un décodage jusqu'à 6,3 fois plus rapide sur des contextes d'un million de tokens. Vient ensuite Attention Residuals, présenté comme un substitut direct aux connexions résiduelles classiques, qui apporte des gains constants à mesure que le modèle grandit. Avec une fenêtre de contexte d'un million de tokens et une compréhension visuelle native, Moonshot mise clairement sur l'efficacité à grande échelle plutôt que sur le seul empilement de paramètres.

Un raisonneur toujours actif

Contrairement aux modèles qui alternent entre un mode rapide et un mode « réflexion », K3 est livré avec le raisonnement activé par défaut. Moonshot parle de « mode réflexion », mais ce n'est pas une option que l'on enclenche pour les problèmes difficiles : c'est simplement la façon dont le modèle fonctionne.

Où il se situe vraiment

Sur GDPval-AA v2 — un benchmark couvrant des tâches réelles dans 44 métiers et 9 secteurs — K3 obtient 1 687 points, ce qui le place troisième au classement général. Seuls Claude Fable 5 Max (1 815) et GPT-5.6 Sol Max (1 747,8) le devancent, et il passe devant Claude Opus 4.8 (1 600). Sur les benchmarks d'automatisation de tâches, il prend même la première place dans quatre catégories sur huit, dont Automation Bench, SpreadsheetBench 2 et BrowseComp — des domaines où les scores bruts ne disent pas toujours qui s'en sortira le mieux sur du travail réel et désordonné.

Les tarifs disent autre chose : 15 $ le million de tokens en sortie, bien au-dessus des 4,40 $ de GLM-5.2 ou des 0,87 $ de DeepSeek V4, mais une fraction seulement de ce que facture le haut du panier fermé à capacité comparable — des performances de la classe d'Opus 4.8 à un tarif plus proche de celui de l'époque de Sonnet 5.

Pas encore disponible, mais presque

(Écrit le 16 juillet.) L'annonce est tombée juste avant la Conférence mondiale sur l'intelligence artificielle 2026, à Shanghai. Les poids complets doivent suivre le 27 juillet : pour l'heure, K3 est donc davantage une affaire de benchmarks qu'un modèle téléchargeable. Mais si les chiffres tiennent une fois les poids publics, ce sera un jalon sérieux dans le rattrapage du haut du panier fermé par les modèles ouverts.

Ils ont tenu, et les poids sont même arrivés en avance. Ce qui s'est passé entre-temps forme le reste de cet article.

Douze jours en juillet

Ce qui suit couvre les douze jours écoulés entre l'annonce de K3 et la publication de ses poids, plus une date antérieure dont dépend tout le reste. Présenter les faits par date a son importance, car c'est la compression même du calendrier qui fait l'histoire : un cycle politique complet s'est déroulé en moins de deux semaines, et le modèle au centre de l'affaire est sorti malgré tout.

Quinze jours entre l'ouverture au public de Fable 5 et le lancement de K3. Six jours entre ce lancement et une accusation de la Maison-Blanche. Dix jours entre cette accusation et la réponse de Moonshot — du code source plutôt qu'un communiqué : l'entreprise n'en a d'ailleurs toujours publié aucun.

Mise à jour (22 juillet) : la Maison-Blanche accuse Moonshot d'avoir distillé Claude Fable

Six jours après le lancement, l'affaire a pris un tour beaucoup plus rude. Michael Kratsios, chargé de l'IA et des cryptomonnaies à la Maison-Blanche, a déclaré publiquement que les États-Unis disposaient d'informations selon lesquelles Moonshot AI aurait distillé le Fable d'Anthropic pour construire K3. Il ne parlait pas du type de distillation ordinaire et légitime utilisé dans tout le secteur pour créer des modèles plus petits et efficaces, mais de ce qu'il a décrit comme une « plateforme interne sophistiquée pour mener une distillation à grande échelle contre des modèles américains », conçue spécifiquement pour permettre à Moonshot de « basculer rapidement entre plusieurs méthodes d'accès afin d'échapper à la détection ». Il affirme également que Moonshot se serait procuré des serveurs équipés de GB300 et y aurait eu accès en Thaïlande, vraisemblablement pour entraîner ses modèles — un détail qui compte, les GB300 étant soumis aux contrôles américains à l'exportation.

Ce n'est pas la première version de cette accusation. Anthropic elle-même avait déclaré en février 2026 que Moonshot, aux côtés de DeepSeek et MiniMax, avait mené des attaques de distillation à grande échelle contre Claude. La nouveauté, c'est qu'il s'agit désormais d'une accusation formelle du gouvernement américain, visant nommément le modèle dont traite cet article. Si elle se confirmait, elle donnerait un tout autre éclairage aux arguments phares de K3 : plus grand modèle à poids ouverts, performances comparables à Fable, prix bien inférieur. À ce jour, Moonshot n'a pas répondu publiquement.

En quelques jours, cette accusation a dégénéré en une véritable bataille politique sur l'opportunité même de restreindre les modèles d'IA à poids ouverts — une histoire bien plus vaste que K3 lui-même.

Mise à jour du 27 juillet : les poids sont là, et l'usine aussi

Moonshot a livré avec un jour d'avance : les poids sont sortis le 26 juillet, et non le 27 comme promis, sous la licence Kimi K3. Les conditions sont permissives, proches de la licence MIT, un accord distinct n'étant requis que des entreprises exploitant un service de modèle en tant que service dépassant 20 millions de dollars de chiffre d'affaires sur douze mois. La restriction est plus étroite que ne le laissait entendre la formule « MIT modifié » : elle vise les revendeurs cloud, pas les chercheurs.

Deux corrections à ce qui précède, maintenant que la fiche du modèle est publique. Les paramètres actifs sont au nombre de 104 milliards, et non d'une cinquantaine : 16 des 896 experts routés plus 2 partagés, répartis sur 93 couches. Et le score GDPval-AA v2 figurant dans le tableau de Moonshot est de 1 686, contre 1 747 pour Fable 5 et 1 736 pour GPT-5.6 Sol. L'architecture compte 69 couches KDA entrelacées avec 24 couches Gated MLA, et les poids publiés sont nativement en MXFP4 : l'entraînement tient compte de la quantification dès l'étape de SFT, il ne s'agit pas d'une compression après coup. Pour un modèle de 2,8 billions de paramètres, c'est toute la différence entre « ouvert » et « réellement exécutable ».

Mais les poids sont ce que Moonshot a publié de moins intéressant cette semaine.

Ils ont ouvert l'usine, pas seulement le produit

K3 s'est accompagné de l'infrastructure qui l'a fabriqué, en quatre éléments distincts :

MoonEP est une bibliothèque de communication pour le parallélisme d'experts, et elle existe précisément pour résoudre le problème que crée un modèle à 896 experts. Quand chaque token est dirigé vers 16 des 896 experts, la répartition n'est jamais équilibrée : certains experts croulent sous les tokens, d'autres restent inactifs. Et comme une étape d'entraînement ne s'achève que lorsque le rang le plus lent a fini, le temps d'itération est dicté par le GPU le plus sollicité. L'astuce de MoonEP consiste en des experts redondants dynamiques — il planifie en ligne un petit nombre d'experts dupliqués à partir des sorties actuelles du routeur et les précharge, de sorte que chaque rang reçoive exactement le même nombre de tokens, quelle que soit l'ampleur du déséquilibre de routage. Les mesures face au DeepEP v2 de DeepSeek montrent le gain : le temps d'itération de DeepEP grimpe régulièrement à mesure que le déséquilibre s'accentue, jusqu'à saturer purement et simplement la mémoire, les formes d'activation changeantes fragmentant la mémoire du GPU. MoonEP, lui, reste stable, ses formes étant statiques par construction.

AgentENV est ce qui explique les scores agentiques de K3. C'est une plateforme pour exécuter des microVM Firecracker à grande échelle, et le README indique clairement qu'elle alimente « l'entraînement RL agentique de Kimi K3 ». Les environnements démarrent ou reprennent en moins de 50 ms et se mettent en pause en moins de 100 ms ; un environnement en cours d'exécution peut se scinder en plusieurs sandbox indépendants pour des déploiements parallèles ; les images se chargent à la demande via overlaybd, de sorte que l'ensemble d'images peut dépasser le disque local. Si l'on veut entraîner un modèle en le laissant réellement manipuler un terminal des centaines de millions de fois, c'est là — et non dans le code du modèle — que réside la difficulté. La plateforme expose une API compatible E2B : il suffit d'y pointer le SDK E2B standard, sans rien modifier.

FlashKDA est l'implémentation en noyau CUTLASS de Kimi Delta Attention, et le plus intéressant, c'est sa date. Le code est public depuis le 22 avril 2026, soit trois mois avant le lancement de K3 et plus de deux mois avant l'ouverture au public de Claude Fable 5. Il est intégré en amont dans flash-linear-attention : n'importe qui peut appeler chunk_kda et récupérer les noyaux de Moonshot. Retenez cette date, elle reviendra.

PerceptionBench est un benchmark et non une infrastructure — et c'est le plus lucide des quatre. Au lieu d'une énième évaluation visuelle globale, il isole la perception élémentaire : les auteurs ont identifié le tout premier point de rupture dans les réponses des modèles de pointe sur 42 benchmarks existants, en ont tiré une typologie des erreurs, puis ont rédigé 3 000 questions vérifiées, chacune visant exactement l'une des dix capacités perceptives, avec une difficulté qui tient à la vision et non au raisonnement.

Le benchmark qu'ils ont publié, et où ils finissent deuxièmes

Le résultat principal est négatif : aucun modèle n'atteint 60 %. La perception visuelle élémentaire — compter, estimer une profondeur, localiser, dire si deux objets ont la même couleur — reste largement irrésolue chez seize modèles de pointe, et l'article souligne que des scores globaux voisins recouvrent des profils de capacités très différents. La colonne « hallucination » l'illustre : GPT-5.6 Sol l'emporte au classement général mais plafonne à 26,9 sur l'hallucination perceptive, là où K3 atteint 41,7 et Fable 5 mène avec 45,0. Classer ces modèles sur un seul chiffre a toujours masqué quelque chose.

Publier un benchmark où son propre modèle phare finit deuxième est un vrai gage de crédibilité, et il faut le saluer. Ce n'est pas pour autant un blanc-seing : c'est le benchmark de Moonshot, bâti sur sa propre typologie et noté par un LLM juge. Mais il n'a manifestement pas été conçu pour être gagné.

Cela renforce-t-il la publication ?

Globalement oui, et d'une manière que les tableaux de benchmarks ne captent pas.

Les poids sont un instantané ; l'infrastructure est une capacité. Un checkpoint de 2,8 billions de paramètres est extrêmement utile et parfaitement inerte : on peut l'exécuter, l'affiner, et c'est tout. MoonEP et AgentENV, eux, sont réutilisables par quiconque entraîne un grand MoE parcimonieux ou fait de l'apprentissage par renforcement agentique — concurrents de Moonshot compris. C'est une position nettement plus ouverte que la simple publication de poids, et l'exact contraire de ce que fait un laboratoire dont l'avantage repose sur un secret.

Cela s'inscrit aussi, délibérément ou non, en plein cœur de la controverse sur la distillation. On ne construit pas une bibliothèque d'équilibrage de charge pour le parallélisme d'experts, ni un environnement d'apprentissage par renforcement sur Firecracker, quand sa méthode consiste à recopier les sorties d'autrui. Ces deux objets attestent d'une organisation qui mène un travail coûteux de pré-entraînement et d'infrastructure au plus haut niveau, et tous deux sont désormais inspectables. C'est une réfutation plus solide de l'accusation de Kratsios que n'importe quel communiqué — communiqué que Moonshot n'a d'ailleurs toujours pas publié.

La meilleure preuve est un horodatage

Laissons un instant les objets de côté et regardons simplement le calendrier.

Claude Fable 5 est devenu publiquement disponible le 1er juillet. K3 a été lancé le 16 juillet. C'est la fenêtre de deux semaines que les sceptiques pointent depuis le début : bien court pour distiller en secret un modèle de pointe, entraîner sur ses sorties un MoE de 2,8 billions de paramètres, et le publier.

Mais l'enchaînement remonte bien plus loin que cette quinzaine. FlashKDA — l'implémentation en noyau du mécanisme d'attention sur lequel repose K3 — était publique dès le 22 avril, deux mois et demi avant que Fable 5 n'existe comme produit interrogeable. Les travaux sur KDA et Attention Residuals sont antérieurs encore. Les courbes d'efficacité d'échelle du rapport technique, avec leur facteur 2,5, décrivent un entraînement — or le pré-entraînement d'un modèle de 2,8 billions de paramètres se compte en mois, pas dans les quinze jours disponibles.

Le calendrier borne donc ce que l'accusation peut vouloir dire sans se contredire. L'architecture de K3 est manifestement antérieure au modèle qu'on l'accuse d'avoir copié. La seule version de l'accusation qui tienne encore porterait sur les données de post-entraînement — des sorties récoltées pour façonner le comportement — appliquées à un modèle dont les fondations étaient déjà posées et publiquement documentées. C'est bien plus étroit que « a distillé Fable pour construire K3 », et c'est une accusation à laquelle la publication ne répond pas vraiment.

C'est là qu'il faut s'arrêter honnêtement. L'infrastructure d'entraînement démontre une capacité, pas la provenance des données. MoonEP prouve que Moonshot sait entraîner efficacement un immense MoE ; il ne dit rien du contenu du corpus. Les horodatages prouvent que l'architecture n'a pas été copiée ; ils ne prouvent pas que les données de post-entraînement étaient propres. Ces publications rendent l'accusation, telle qu'elle a été formulée, nettement moins plausible — sans réfuter une version plus étroite.

Deux autres éléments méritent d'être notés. Les benchmarks de MoonEP tournent sur des puces H20 — conformes aux contrôles d'exportation — tout comme plusieurs des propres évaluations de K3, ce qui constitue un contrepoint discret à l'affirmation selon laquelle K3 dépendrait de GB300 obtenus en fraude. Quant à AgentENV, il est livré avec un avertissement sans détour : aucune gestion des autorisations, et surtout ne pas l'exposer à un réseau public — rappel utile que « publié en open source aux côtés d'un modèle de pointe » ne veut pas dire « prêt pour la production ».

En résumé : les poids ont rendu K3 téléchargeable, mais c'est l'infrastructure qui le rend reproductible en principe. Pour une publication dont la question disputée est « l'ont-ils vraiment construit ? », publier les outils qui l'ont construit reste la réponse la plus convaincante possible.

Mise à jour (27 juillet) : ce qu'apporte le rapport technique

Publié en même temps que les poids, le rapport complet de 47 pages détaille ce que la fiche du modèle ne faisait qu'esquisser — et, rapporté au calendrier ci-dessus, l'essentiel de ce qu'il décrit n'aurait pas pu tenir dans le mois de juillet.

L'histoire de l'échelle, c'est l'efficacité, pas la taille

K3 compte 2,7 fois plus de paramètres que K2, mais Moonshot affirme que les changements d'architecture ont apporté un gain d'environ 2,5 en efficacité d'échelle — mesuré par des courbes de lois d'échelle ajustées sur des données de validation hors distribution mises de côté, et non par un simple écart de benchmark. La comparaison complète :

C'est la ligne inchangée qui est la plus intéressante. K3 a grandi en profondeur et en parcimonie, non en largeur : plus de couches, plus d'experts, plus d'experts actifs, mais la même dimension cachée. L'équipe a également refait ses recherches de lois d'échelle pour la taille de lot, le taux d'apprentissage et le nombre de tokens par paramètre, au lieu de reprendre celles de K2, et a constaté que la décroissance en cosinus l'emportait sur le Warmup-Stable-Decay — avec cette réserve, soigneusement formulée : les deux calendriers ont des hyperparamètres optimaux si différents que les comparer dans un cadre commun avantage indûment celui auquel ce cadre convient le mieux.

Autre point d'architecture à signaler : la vision est entraînée conjointement dès le départ, tokens visuels et textuels entrelacés sous un même objectif de prédiction du token suivant — et non greffée après coup sous forme d'encodeur visuel aligné sur un modèle de langage déjà terminé. C'est la voie la plus difficile, et cela concorde avec les performances remarquables de K3 sur OmniDocBench et Video-MME.

K3 a conçu une puce, et le code RTL est public

La section des études de cas est celle qui fera le plus débat. Deux réalisations, toutes deux produites par K3 et non utilisées pour le construire, et toutes deux publiées en open source :

MiniTriton — un compilateur GPU compact de type Triton écrit par K3 : un frontend Python personnalisé au niveau des tuiles, une couche d'annotation MLIR au niveau des warps, une génération de code PTX, plus une bibliothèque de tenseurs à double mode avec autograd en mode inverse et primitives distribuées NCCL. Sur un L20, il surpasse PyTorch eager et torch.compile en moyenne géométrique sur sa suite de benchmarks, et son produit matriciel sur tensor core écrit de zéro atteint environ 90 % du plafond machine mesuré. Il entraîne un modèle GPT de bout en bout, avec des gradients qui correspondent à ceux de l'autograd de torch à l'erreur d'arrondi fp32 près.

nano-kpu — un prototype de puce d'inférence. En une seule session autonome de 48 heures avec Kimi Code, K3 a conçu, optimisé et vérifié une puce à l'aide d'outils de CAO électronique libres, sur la bibliothèque de cellules standard Nangate45. Dans un budget de 4 mm² de surface, la conception respecte les contraintes temporelles à 100 MHz et atteint, en simulation RTL, un débit de décodage supérieur à 8 700 tokens par seconde, avec 1,46 million de cellules standard, 0,277 Mio de SRAM et une matrice MAC INT4 à déquantification fusionnée.

Ce sont là des démonstrations de capacité plus que des produits, et c'est « en simulation RTL » qui porte tout le poids de la phrase : aucun silicium n'existe. Reste qu'une session autonome de 48 heures aboutissant à une conception qui respecte ses contraintes temporelles est une revendication agentique bien plus concrète qu'une place dans un classement — et, contrairement à un score de benchmark, le résultat est inspectable.

Le rapport emploie le mot « distillation », avec précaution

Compte tenu de l'accusation ci-dessus, cela mérite d'être précisé. Le pipeline de post-entraînement de K3 repose explicitement sur la distillation : SFT pour un démarrage à froid, puis RL pour développer des experts spécialisés par domaine à différents niveaux d'effort de raisonnement, puis Multi-Teacher On-Policy Distillation (MOPD) pour consolider ces experts en un seul modèle.

Or tous ces enseignants appartiennent à Moonshot : il s'agit d'auto-distillation entre ses propres checkpoints spécialisés, la variante ordinaire et standard du secteur, celle-là même que Kratsios avait explicitement reconnue comme légitime. Cela ne prouve rien, ni pour ni contre l'accusation, qui portait sur la distillation du modèle d'Anthropic — et le rapport reste muet sur ce point. On n'y trouve aucune section sur la décontamination ou la provenance des données.

Ce que le rapport apporte, c'est le compte rendu détaillé d'une organisation qui mène un travail original et très coûteux : orthogonalisation Muon tête par tête, parallélisme de contexte KDA dérivé des premiers principes avec démonstrations en annexe, bibliothèque de parallélisme d'experts maison assortie de sa propre preuve de borne supérieure. Rien de tout cela ne ressemble à de la copie. Rien de tout cela ne dit non plus ce qu'il y avait dans le corpus.

Ils reconnaissent noir sur blanc qu'ils perdent

Le résumé de l'article le dit lui-même : la performance globale de K3 « reste en retrait par rapport aux modèles propriétaires les plus puissants, à savoir Claude Fable 5 et GPT-5.6 Sol », tout en devançant systématiquement tous les autres modèles de la comparaison. Pour un document de lancement, nommer dès le résumé les deux modèles auxquels on s'incline est d'une franchise rare — et cela correspond aux tableaux de benchmarks, où K3 domine sur les tâches agentiques et la recherche d'information, mais décroche sur HLE et GDPval.

Ce que dit l'horloge

Trois horloges traversent cette histoire, et leur désaccord est instructif.

L'horloge des sorties tourne vite, et elle accélère. Cinq modèles majeurs en douze mois avant K3, un saut architectural notable chaque trimestre, un passage de 1,04 à 2,78 billions de paramètres en un an. Le jour où les poids de K3 sont sortis, son prédécesseur immédiat avait six semaines.

L'horloge politique tourne plus vite encore, et pour bien moins de résultats. Un projet d'interdiction, une sortie du Trésor, une accusation de la Maison-Blanche et une contre-coalition de 200 entreprises : le tout en huit jours, pour aboutir à aucune loi, aucun décret, et les poids publiés sur Hugging Face malgré tout. Le seul point d'accord général, c'est qu'un fichier téléchargé ne se rappelle pas. Le cycle politique s'est achevé plus vite que le cycle de publication, sans rien y changer.

L'horloge de la recherche est la plus lente, et c'est elle qui tranche. KDA, Attention Residuals, le travail sur les lois d'échelle, FlashKDA en avril : tout cela s'est étalé sur des trimestres, et c'est ce qui explique l'existence de K3. C'est aussi, accessoirement, pourquoi l'accusation la plus rapide de l'été ne colle pas aux faits : on ne comprime pas une année de travail architectural dans une fenêtre de deux semaines, et l'habitude qu'a Moonshot de publier en public a laissé une trace horodatée prouvant qu'elle n'en avait pas besoin.

C'est la leçon durable d'un mois qui, pour le reste, n'aura produit que du bruit. Dans un domaine qui va si vite, publier en continu n'est pas seulement une stratégie de diffusion : c'est un alibi. Un laboratoire qui publie ses noyaux en avril n'a pas à débattre de ce qu'il a construit en juillet. Les archives plaident pour lui.

Reste à savoir si la suite s'appellera K3.5, en octobre. À ce rythme, ce n'est plus une question, c'est une date.