Magazine LLM Opensource · 8 November 2026

Kimi K3 : 2,8 billions de paramètres en open weight, 104 milliards actifs — anatomie du titan chinois de Moonshot AI

Le 16 juillet 2026, Moonshot AI dévoilait Kimi K3, un modèle de 2,8 billions de paramètres – le plus gros jamais publié en open weight. Onze jours plus tard, les poids complets (1,56 To) étaient mis en ligne sur Hugging Face, confirmant une architecture Mixture of Experts (MoE) de 896 experts dont seulement 16 activés par token, pour environ 104 milliards de paramètres actifs. Trois mois plus tard, la lignée a muté : K3.1 Pro est en ligne, Qwen3.8-Max a ouvert ses poids début août, Meta a répliqué avec Muse Spark Open, et la vague open-weight se heurte désormais à un mur de mémoire. Que vaut vraiment K3 pour les praticiens ? Ce décryptage technique plonge dans son architecture, ses benchmarks, ses contraintes matérielles et sa place dans un écosystème en pleine ébullition.

2,8 billions de paramètres en open source : le pari chinois qui fait trembler la Silicon Valley

Le 16 juillet 2026, Moonshot AI a lancé Kimi K3 via son application, un playground web et une API sous l’identifiant kimi-k3. Les poids complets ont été publiés sur Hugging Face le 27 juillet 2026, confirmant les 2,8 billions de paramètres (2,8 T) de ce modèle Mixture of Experts (MoE). L’ensemble représente environ 1,56 To de données téléchargeables, ce qui en fait l’un des modèles d’IA les plus imposants jamais proposés en téléchargement public. Un chiffre qui donne le vertige : c’est bien au-delà des plus gros modèles ouverts occidentaux de l’été. La nouvelle a fait le tour des médias – MacGeneration, RTS, Usine Digitale, Atlantico, Futura Sciences, Économie Matin, Le Journal du Geek – et a suscité à la fois admiration et scepticisme.

Kimi K3 n’est pas seulement un mastodonte par la taille. Il revendique un contexte natif de 1 million de tokens, des capacités visuelles natives (compréhension d’images) et une architecture pensée pour l’efficacité. Moonshot AI annonce un gain algorithmique de 2,5× par rapport à son prédécesseur K2.6, sans pour autant publier immédiatement de rapport technique détaillé – celui-ci devait accompagner les poids. L’absence de documentation complète a alimenté les interrogations, mais l’impact médiatique est immédiat : la Chine place un modèle open source à la frontière des meilleurs systèmes propriétaires américains. Pour la première fois, un modèle de classe GPT-5.x / Claude Fable est proposé en open-weights, et il vient d’une start-up chinoise.

Un détail mérite d’être souligné, car il nuance le mot « open » : comme le relève VentureBeat, les poids de K3 sont bien téléchargeables, mais sous une licence « open weight » assortie de conditions d’usage restrictives – un point que les entreprises doivent vérifier avant tout déploiement commercial. C’est la distinction désormais classique entre open weight (les poids sont accessibles) et open source au sens strict (code, données et licence permissive). K3 appartient à la première catégorie, comme la majorité des modèles chinois de 2026.

Le contexte est d’autant plus brûlant qu’à peine une semaine après la publication des poids de K3, Alibaba a annoncé le 3 août 2026 la disponibilité générale de Qwen3.8-Max, un modèle à 2,4 trillions de paramètres également en open weights, avec une fenêtre de contexte d’un million de tokens. La course aux très grands modèles ouverts s’accélère, et la Chine en est l’épicentre. Depuis, d’autres acteurs ont suivi : Z.ai a lancé GLM-5.3 le 14 août, Tencent a ouvert Hy4 Preview le 28 août, et Meta a publié Muse Spark Open le 15 octobre 2026 – un MoE de 816 milliards de paramètres (42 milliards actifs) avec un contexte d’un million de tokens, présenté par Meta Research comme « le modèle open-weight américain le plus capable à ce jour », et pensé pour tourner sur des Mac Studios Apple M5 Ultra. L’open source n’est plus un laboratoire : c’est un champ de bataille stratégique.

Signe de la maturité de l’écosystème, K3 n’est pas resté confiné aux serveurs de Moonshot : le modèle est désormais accessible via Amazon Bedrock, avec sa fenêtre de contexte d’un million de tokens, comme le rapporte Unite.AI. Pour les entreprises qui ne peuvent pas – ou ne veulent pas – auto-héberger un modèle de 1,56 To, cette disponibilité managée change la donne : elle rend K3 exploitable sans armada de GPU, au prix d’une dépendance à un fournisseur cloud.

La lignée, elle, n’a pas attendu. Moonshot AI a depuis mis en ligne K3.1 Pro, présenté sur le site officiel de Kimi comme une mise à niveau portant sur le codage et les tâches agentiques, et distribué via l’API (platform.kimi.com), l’application desktop/mobile et l’outil en ligne de commande Kimi Code. Autrement dit : la version qui compte pour un déploiement en production fin 2026 n’est plus K3 « vanilla », mais K3.1 Pro – un point que les équipes qui évaluent encore le modèle de juillet doivent intégrer.

Moonshot AI : une start-up chinoise sous pression géopolitique

Moonshot AI est une start-up chinoise fondée en 2023 par Yang Zhilin, Zhou Xinyu et Wu Yuxin. Yang Zhilin, ancien chercheur chez Google Brain et Meta, a collaboré avec Yoshua Bengio et Yann LeCun, deux pionniers de l’IA lauréats du prix Turing en 2018. L’entreprise fait partie des six « AI Tigers » chinois et a bénéficié de financements massifs d’Alibaba, Tencent et IDG Capital. En février 2026, elle préparait son introduction en bourse avec une valorisation de 30 milliards de dollars selon Roboto.

Cependant, la trajectoire de Moonshot AI n’a pas été sans controverses. En février 2026, Anthropic a accusé la firme, aux côtés de DeepSeek et MiniMax, d’avoir créé 24 000 comptes pour mener une attaque par distillation – une technique consistant à utiliser les réponses d’un modèle existant pour entraîner à moindre coût son propre système. Plus récemment, fin juillet 2026, des officiels américains ont évoqué des soupçons de « pillage » du modèle d’Anthropic détenu par Google, selon CNews. Malgré ces accusations, Moonshot AI poursuit son développement et affirme respecter les standards éthiques du secteur.

Le virage vers l’open source est clair : après Kimi K2 (juillet 2025), K2.5 (janvier 2026), K2.6 (avril 2026) et K2.7 Code (juin 2026), K3 marque une escalade spectaculaire, suivie de K3.1 Pro à l’automne. Ce choix n’est pas anodin dans le contexte géopolitique actuel. Les restrictions américaines sur l’exportation de puces NVIDIA (H100, B200) vers la Chine compliquent l’accès au matériel le plus performant. Pourtant, Moonshot AI parvient à entraîner un modèle de 2,8 T – sans doute sur des clusters de GPU chinois ou via des circuits détournés. David Sacks, ancien conseiller IA de la Maison Blanche, a critiqué dans une interview à la RTS les régulations américaines qui, selon lui, « entravent l’innovation » et poussent les entreprises chinoises à développer leurs propres solutions. La politique chinoise encourage d’ailleurs l’open source comme levier de souveraineté technologique. Parallèlement, la Nemotron Coalition menée par NVIDIA fédère huit laboratoires (dont Mistral AI, Perplexity, Reflection AI) pour construire un modèle ouvert concurrent, signe que l’open source devient un champ de bataille stratégique. NVIDIA, de son côté, a continué d’alimenter l’écosystème open weight : le 28 octobre 2026, l’entreprise a publié Nemotron 3.5 Transcribe, un modèle vocal ouvert couvrant 40 langues (dont le français), avec attribution des locuteurs et traduction, accompagné du jeu de données audio Granary v2 fort de 463 062 heures d’enregistrements, comme le rapportent TechCrunch et Unite.AI.

Cette dynamique se lit aussi dans les chiffres d’usage : selon le rapport State of Open Source AI v1.1 de la Mozilla Foundation, relayé par TechTimes en septembre 2026, les modèles open weight ont traité la majorité du trafic de tokens développeurs sur OpenRouter en août 2026 – tout en ne captant que 4 % des revenus de la couche modèle. Autrement dit, l’open weight gagne la bataille de l’adoption, mais pas encore celle de la monétisation. Un paradoxe structurant pour tout l’écosystème, et un rappel que « gratuit à télécharger » ne veut pas dire « gratuit à servir ».

Architecture MoE : 896 experts, 16 activés, ~104 milliards de paramètres actifs

Kimi K3 utilise une architecture Mixture of Experts avec 896 experts au total, dont seulement 16 sont activés par token. Cela représente une sparsité d’environ 1,8 % (16/896), soit deux fois plus élevée que celle de K2.6 ou DeepSeek V4 Pro. Concrètement, pour chaque token traité, le modèle n’utilise qu’une infime fraction de ses paramètres totaux, ce qui réduit drastiquement le coût de calcul en inférence. Le nombre de paramètres actifs par token est désormais connu : environ 104 milliards (104,2 milliards selon les mesures les plus précises publiées par La Revue Geek et confirmées par la connaissance mutualisée du magazine). C’est une information cruciale pour les praticiens qui évaluent les besoins en calcul.

L’innovation ne s’arrête pas là. Moonshot AI a intégré plusieurs mécanismes propriétaires :

• Kimi Delta Attention (KDA) : une variante d’attention qui combine une attention linéaire et une attention complète dans un ratio 3:1, accélérant le décodage de 6,3× pour les contextes d’un million de tokens.
• Attention Residuals : des connexions résiduelles dans les mécanismes d’attention qui améliorent l’efficacité de l’entraînement de 25 %.
• Stable LatentMoE : un framework de routage d’experts qui stabilise l’apprentissage des gating networks, évitant les effondrements d’experts observés dans d’autres MoE.

Comparé à des modèles antérieurs comme Mixtral 8x22B (56,9 M paramètres actifs, 8 experts sur 8, donc dense), DeepSeek-V2 (236 M actifs, 160 experts, 6 activés) ou Qwen2.5-MoE (14,3 M actifs, 60 experts, 4 activés), K3 se distingue par son nombre record d’experts et sa sparsité extrême. Avec environ 104 milliards de paramètres actifs, il se situe dans la même gamme que les gros modèles denses récents, mais avec une capacité totale bien supérieure. La tendance est claire : Moonshot pousse la logique MoE à son paroxysme, au prix d’une complexité d’inférence accrue.

Cette architecture s’inscrit dans une tendance de fond analysée par notre magazine dans « Vitesse d’inférence des LLM open source en 2026 » : la sparsité MoE, couplée à la quantification agressive et aux optimisations logicielles, est devenue le principal levier pour rendre des modèles géants réellement déployables. K3 en est l’illustration la plus extrême – et la plus coûteuse à servir. Une analyse publiée le 28 octobre 2026 par topai-tools.org (« Deconstructing Mixture-of-Experts Routing in Open-Weight Models ») confirme ce diagnostic : c’est bien la sélection de paramètres actifs, le top-k gating et l’équilibrage de charge entre experts qui déterminent l’empreinte GPU réelle d’un modèle, bien plus que son nombre total de paramètres. Un MoE à 896 experts comme K3 n’est donc pas « un modèle de 2,8 T » au sens du calcul : c’est un modèle d’environ 104 milliards actifs dont l’immense majorité des poids dort en mémoire.

Et c’est précisément là que le bât blesse. Le 16 octobre 2026, The Agent Report titrait sur « 816B, 560B, 120B en un jour : la vague open-weight se heurte désormais à un mur de mémoire ». La multiplication des MoE géants – Muse Spark Open (816B), Qwen3.8-Max (2,4 T), K3 (2,8 T) – déplace le goulot d’étranglement du calcul vers la capacité mémoire : charger 1,56 To de poids, même en quantification, exige des nœuds multi-GPU et une bande passante que peu d’organisations peuvent justifier. La sparsité réduit le coût par token, pas le coût d’hébergement.

Benchmarks : K3 dépasse Fable 5 sur Terminal-Bench, talonne GPT-5.6 Sol

Les benchmarks disponibles proviennent de tests internes à Moonshot et de l’Artificial Analysis Intelligence Index (AAI Index), cité par Le Grand Continent et Developpez.com. Voici les résultats consolidés :

• AAI Index (score global d’intelligence) : Kimi K3 obtient 57 points, derrière Claude Fable 5 (60) et GPT-5.6 Sol (59), mais devant Opus 4.8 (55) et GLM-5.2 (52). Selon Developpez.com, K3 devance Claude Opus 4.8 et GPT-5.6 Terra, et se classe à seulement deux ou trois points derrière Fable 5 et GPT-5.6 Sol.
• Terminal-Bench (tâches complexes multi-agents) : Kimi K3 obtient 88,3 %, juste derrière GPT-5.6 Sol (88,8 %) et devant Claude Fable 5 (84,6 %), d’après MacGeneration.
• DeepSWE (évaluation de code sur dépôts) : K3 atteint 67,5 points, derrière GPT-5.6 Sol (73) et Claude Fable 5 (70), mais comparable à GPT-5.5.

Le coût moyen par tâche sur l’AAI Index est de 0,94 $, ce qui place K3 dans une fourchette comparable à GPT-5.6 Sol (1,04 $) et bien en dessous d’Opus 4.8 (1,80 $). En revanche, DeepSeek V4 Pro est dérisoirement bon marché (0,04 $ par tâche), et GLM-5.2 coûte 0,32 $.

Attention : aucun score n’est disponible sur les benchmarks classiques (MMLU, HumanEval, GSM8K, MATH, HellaSwag, ARC). Le rapport technique complet n’ayant pas été publié au moment de la sortie, ces chiffres reposent sur des sources uniques (Artificial Analysis, annonce Moonshot). La prudence s’impose. Les premiers tests indépendants devaient arriver dans les semaines suivant la sortie des poids. Le classement TECHSY publié le 5 juillet 2026, qui plaçait Qwen 3 235B-A22B en tête, ne prend pas encore en compte K3 ni Qwen3.8-Max – signe que la hiérarchie est en pleine recomposition.

Le cas K3 illustre d’ailleurs une nuance essentielle, que notre magazine a détaillée dans « Kimi K3 et la convergence open-weight » : un point d’écart sur l’indice AAI entre GPT-5.6 Sol et K3 (59 contre 57) masque des mondes de différence sur les poids – l’un est un fleuron fermé, l’autre un champion téléchargeable. La convergence des performances ne signifie pas convergence des conditions d’accès. Et comme le rappelle notre dossier « Leaderboards open-weight 2026 », un score unique agrégé masque des écarts considérables selon le protocole (zero-shot, CoT, few-shot, température) et selon le cas d’usage – code, raisonnement, agents, multilingue, contexte long.

Depuis la sortie de K3, la concurrence a répliqué. GLM-5.3 de Z.ai, lancé le 14 août 2026, réutilise la base MoE de 743 milliards de paramètres de GLM-5.2 mais améliore le routage et les capacités agentiques. Muse Spark Open de Meta (15 octobre 2026) revendique 42 milliards de paramètres actifs pour 816 milliards au total, un contexte d’un million de tokens et des performances de premier plan en codage et en travail agentique – le tout déployable sur un Mac Studio M5 Ultra selon Meta Research, ce qui en fait un concurrent redoutable sur le terrain du local. Enfin, hors du strict périmètre MoE, Mercury 3 d’Inception (19 octobre 2026) brouille les cartes : ce modèle à diffusion génère plus de 1 000 tokens par seconde (1 068 selon iXBT) avec un contexte d’un million de tokens, à 0,10 $ le million de tokens d’entrée, et revendique selon son éditeur des performances supérieures à GPT-6 Luna et Claude sur certains axes. La comparaison « K3 vs les meilleurs » doit donc être réactualisée en continu : c’est tout l’objet de notre article « Benchmarker un modèle qui change toutes les deux semaines ».

Servir K3 : VRAM, débit et le calcul économique du self-host

C’est ici que le rêve open weight se heurte à la facture. Avec 1,56 To de poids en précision native, K3 ne tient sur aucune machine unique grand public. Même en quantification agressive (FP8, NVFP4), il faut répartir le modèle sur plusieurs nœuds H100/H200/B200, avec une bande passante mémoire et une interconnexion (NVLink, InfiniBand) à la hauteur. Notre dossier « Kimi K3.1 Pro, Qwen3.8-Max, Muse Spark Open : ce que la vague open-weight 2026 change vraiment pour ceux qui déploient » détaille ce calcul économique : le coût d’acquisition et d’exploitation d’un cluster capable de servir K3 en production dépasse largement celui d’un appel API managé, sauf pour des volumes d’usage très élevés ou des contraintes de souveraineté.

D’où l’intérêt de la disponibilité sur Amazon Bedrock : elle permet de bénéficier du contexte d’un million de tokens sans posséder l’infrastructure. Pour beaucoup d’équipes, c’est la seule voie réaliste. Pour celles qui veulent du local, la comparaison avec Muse Spark Open (42B actifs, tournant sur Apple M5 Ultra) est éclairante : Meta a explicitement conçu son modèle pour le poste de travail, là où K3 reste un objet de datacenter.

L’outillage, lui, progresse vite. Le 20 octobre 2026, la pile d’inférence distribuée llm-d 1.0, native Kubernetes, a été présentée à la PyTorch Conference North America, avec l’appui d’IBM Research, comme le rapporte Unite.AI. Le 20 octobre également, Google a publié des versions de vLLM et SGLang compatibles TPU, ouvrant la voie à une inférence open-weight hors GPU NVIDIA. Ces briques ne rendent pas K3 « léger », mais elles rendent son service distribué plus industrialisable – et c’est précisément ce dont un modèle de cette taille a besoin. Notre article « Vitesse d’inférence des LLM open source en 2026 » replace ces évolutions dans la course au débit : sur un MoE aussi creux, c’est la latence de décodage en contexte long (que KDA vise à réduire) qui fait la différence perçue, plus que le throughput brut.

Ce que K3 change vraiment pour l’écosystème open weight

Au-delà des chiffres, Kimi K3 a envoyé un signal : un laboratoire chinois de moins de quatre ans peut publier, en open weight, un modèle qui rivalise avec les meilleurs systèmes fermés américains. Cela a trois conséquences concrètes.

Premièrement, la pression sur les prix. Avec un coût par tâche AAI de 0,94 $, K3 s’aligne sur les tarifs des modèles frontière fermés, tout en étant téléchargeable. Les fournisseurs d’API open-weight (Together, Fireworks, Bedrock) peuvent désormais proposer un modèle de classe frontière sans dépendre d’un éditeur fermé.

Deuxièmement, la recomposition des classements. La vague d’octobre 2026 – Muse Spark Open, Mercury 3, Kolibri-1 d’Aleph Alpha (3 octobre, 78,1 milliards de paramètres, Apache 2.0, orienté allemand/anglais et agents) – montre que l’open weight n’est plus l’apanage de la Chine. L’Europe et les États-Unis reprennent l’initiative, avec des modèles plus petits mais plus déployables. K3 reste le plus gros, mais « le plus gros » n’est plus synonyme de « le plus utile ».

Troisièmement, le mur de la mémoire. Comme le souligne The Agent Report, la limite n’est plus la capacité à entraîner des modèles géants, mais la capacité à les héberger. La prochaine bataille se jouera sur l’efficacité mémoire (quantification, offloading, architectures à diffusion comme Mercury 3) autant que sur les paramètres.

Pour les praticiens, la recommandation est claire : K3 (et désormais K3.1 Pro) est un excellent choix si l’on passe par une API managée ou si l’on dispose d’un cluster adapté ; pour le déploiement local sur matériel modeste, Muse Spark Open, GLM-5.3 ou Kolibri-1 sont plus pertinents. L’open weight a gagné la bataille de l’adoption – 4 % des revenus seulement, rappelons-le – mais pas encore celle de la simplicité.

Sources

• VentureBeat — Kimi K3’s full weights are here, but they’re open with a caveat
• Unite.AI — Moonshot AI’s Kimi K3 arrives on Amazon Bedrock with 1M token context
• Kimi AI — site officiel, K3.1 Pro
• Kimi API Platform — documentation K3
• Meta Research — Introducing Muse Spark Open
• The Agent Report — 816B, 560B, 120B en un jour : la vague open-weight se heurte à un mur de mémoire (16 octobre 2026)
• topai-tools.org — Deconstructing Mixture-of-Experts Routing in Open-Weight Models (28 octobre 2026)
• Unite.AI — llm-d 1.0 debuts at PyTorch Conference with production inference stack (20 octobre 2026)
• Unite.AI — NVIDIA launches open-weight speech model and 463,062-hour audio dataset (28 octobre 2026)
• TechCrunch — Nvidia releases new open transcription model (28 octobre 2026)
• iXBT — Inception представила Mercury 3 (20 octobre 2026)
• TechTimes — State of Open Source AI v1.1 (Mozilla Foundation), septembre 2026
• Dossiers internes du magazine : « Vitesse d’inférence des LLM open source en 2026 », « Kimi K3.1 Pro, Qwen3.8-Max, Muse Spark Open : ce que la vague open-weight 2026 change vraiment », « Leaderboards open-weight 2026 », « Benchmarker un modèle qui change toutes les deux semaines ».

Article recherché et rédigé automatiquement · Magazine Electrosens