Magazine LLM Opensource · 7 November 2026

Vitesse d’inférence des LLM open source en 2026 : débits réels, latence et vrais champions du throughput

La vitesse d’inférence est devenue le nerf de la guerre pour déployer des LLM en production. Entre architectures MoE affûtées, modèles à diffusion, quantification agressive et optimisations logicielles, les modèles open source de l’automne 2026 promettent des débits jamais vus sur du matériel grand public. Mais derrière les classements flatteurs, quels sont les vrais champions de la latence et du throughput ? Nous avons passé au crible les annonces, les benchmarks disponibles et les retours de la communauté pour vous offrir un guide de choix sans concession — mis à jour fin octobre 2026.

Introduction : la course à la vitesse a changé de nature

En cet automne 2026, le paysage des LLM open source s’est densifié — et les échelles ont explosé. En l’espace de deux mois, plusieurs modèles chinois aux dimensions inédites ont fait leur apparition : Kimi K3 de Moonshot AI (2,8 billions de paramètres, lancé le 16 juillet 2026), Qwen3.8-Max d’Alibaba (2,4 billions de paramètres, annoncé le 3 août 2026), GLM-5.3 de Z.ai (753 milliards, sorti le 14 août 2026) et Hy4 Preview de Tencent (770 milliards, publié le 28 août 2026). Ces géants à poids ouverts redéfinissent la frontière de ce qu’on peut déployer — ou du moins, de ce qu’on peut espérer déployer.

Mais l’actualité ne s’arrête pas là. Le 10 août, Meta a surpris tout le monde en publiant Muse Glimmer, un modèle agentique de 30 milliards de paramètres sous licence Apache 2.0, conçu pour tourner sur un simple PC ou Mac avec 24 Go de VRAM. Le 12 août, DeepSeek a officialisé la version production de DeepSeek V4 Pro (1,6 billion de paramètres, 49 milliards d’actifs), mettant fin à une période de prévisualisation de près de quatre mois. Et le 20 août, un mystérieux modèle nommé Ox Alpha est apparu sur OpenRouter, gratuit et sans éditeur connu, spécialisé dans le code et les agents autonomes.

L’automne a poursuivi sur ce rythme, et la question de la vitesse s’est déplacée sur deux fronts nouveaux. D’abord, le 10 septembre, la communauté a vu émerger DeepSeek V4.1 Flash, présenté comme un saut rapide après la version de juillet, grâce à une architecture « Causal Encoder Decoder », 552 milliards de paramètres MoE et un KV cache nettement réduit. Ensuite, le 1er octobre 2026, Cloudflare a créé la surprise en publiant Clef (27 milliards de paramètres) et Clef-flash (9 milliards), deux modèles open-weight sous Apache 2.0 qui ne rédigent rien : ils renvoient une probabilité typée par réponse autorisée. Un changement de paradigme qui déplace la question de la vitesse : ici, plus de génération de tokens, mais une décision en 38,8 ms revendiquée contre 524 ms pour l’approche Jev — un rapport de 13× selon les mesures de Cloudflare, que les premiers tests indépendants commencent tout juste à confronter.

Puis, à la mi-octobre, la donne a encore bougé sur deux plans. Le 15 octobre 2026, Meta a publié Muse Spark Open, un MoE de 816 milliards de paramètres avec 42 milliards d’actifs et un contexte d’un million de tokens, présenté par Meta Research comme « le modèle open-weight américain le plus capable à ce jour », et taillé pour tourner sur des Mac Studio Apple M5 Ultra. Le 19 octobre, Inception a lancé Mercury 3, un modèle à diffusion qui revendique plus de 1 000 tokens par seconde (1 068 tokens/s selon iXBT) avec un contexte d’un million de tokens — une rupture d’architecture qui attaque la vitesse par un tout autre chemin que le MoE. Enfin, le 20 octobre, la pile d’inférence distribuée llm-d 1.0 a été présentée à la PyTorch Conference North America, et Google a publié des versions TPU de vLLM et SGLang — deux annonces qui concernent directement le débit en production.

Pourtant, l’attention s’est déplacée du simple score MMLU vers des métriques opérationnelles : tokens par seconde, latence au premier token (TTFT), consommation mémoire, coût par requête. Les entreprises veulent du temps réel, les développeurs veulent tourner sur une RTX 5090, et les chercheurs veulent des benchmarks reproductibles. Le classement BenchLM, mis à jour le 21 août 2026, classe désormais 101 modèles open-weight — avec Qwen3.8-Max en tête à 79/100. La LM Arena publie ses scores ELO mensuels, et les frameworks d’inférence comme vLLM, TensorRT-LLM et SGLang se livrent une guerre de benchmarks.

Pourtant, les données précises sur la vitesse d’inférence restent étonnamment rares dans les communications officielles. Les blogs et classements abondent, mais les chiffres de throughput (tokens/s) et de latence (p50, p99) sont souvent absents. Nous avons donc compilé ce que les sources disponibles disent — et ne disent pas — pour vous aider à y voir clair.

1. Innovations architecturales : MoE, diffusion, quantification et accélération logicielle

L’architecture Mixture of Experts (MoE) n’est pas nouvelle, mais son adoption massive en 2025-2026 a transformé la donne. En activant seulement une fraction des paramètres à chaque token, les modèles MoE offrent un compromis séduisant : une capacité totale élevée pour un coût de calcul réduit. Selon StartBrain, cette architecture permet de réduire la facture LLM de 89 à 95 % par rapport à un modèle dense équivalent. Une analyse publiée le 28 octobre 2026 par topai-tools.org détaille d’ailleurs le routage MoE des modèles open-weight : sélection sparse des paramètres actifs, réseaux de gating top-k et équilibrage de charge entre experts, autant de mécanismes qui réduisent la charge GPU sans sacrifier la profondeur de raisonnement — à condition que le routage soit bien équilibré, faute de quoi certains experts deviennent des goulots d’étranglement.

Les modèles MoE stars de 2026

• Kimi K3 : 2,8 billions de paramètres totaux, 104,2 milliards d’actifs par token, 896 experts avec routage Stable LatentMoE (seuls 16 experts s’activent par token). Lancé le 16 juillet 2026 par Moonshot AI, il talonne les meilleurs systèmes propriétaires sur Terminal-Bench et DeepSWE. Contexte d’un million de tokens. Licence open-weights (mais pas open-source stricto sensu). Les poids sont devenus téléchargeables le 27 juillet 2026. La lignée a depuis muté : Kimi K3.1 Pro est en ligne, comme le détaillent nos précédents articles.
• Qwen3.8-Max : 2,4 billions de paramètres, 95 milliards d’actifs, annoncé le 3 août 2026 par Alibaba. Poids ouverts effectivement en ligne sur Hugging Face. Contexte d’un million de tokens. Il mène le classement BenchLM open-weight d’août 2026 avec 79/100.
• DeepSeek V4 Pro : 1,6 billion de paramètres, 49 milliards d’actifs, architecture MoE + attention sparse. Version production publiée le 12 août 2026 (build V4 Pro 0813), après une prévisualisation d’environ quatre mois. Contexte d’un million de tokens. Licence MIT.
• DeepSeek V4 Flash : 284 milliards de paramètres, 13 milliards d’actifs, même architecture MoE + sparse attention. Contexte d’un million de tokens. Licence MIT. Positionné comme l’option budget : exécuter une suite de tests coûte 33 fois moins cher qu’avec Kimi K3.
• DeepSeek V4.1 Flash : successeur rapide de la lignée Flash, évoqué le 10 septembre 2026. Architecture « Causal Encoder Decoder », 552 milliards de paramètres MoE et KV cache nettement réduit — un levier direct sur la latence et la mémoire. À prendre avec prudence : l’information provient d’un relais communautaire, pas d’une fiche officielle DeepSeek.
• GLM-5.3 : 753 milliards de paramètres (base MoE de GLM-5.2), sorti le 14 août 2026 par Z.ai. Aucun nouveau paramètre : tout vient du post-entraînement. Il s’impose en tête du benchmark CyberGym avec 84,5 %, devançant Claude Sonnet 5 et GPT-5.6 Sol sur les tâches cybersécurité. Terminal-Bench 3.0 passe de 4,6 % à 28,3 % grâce au post-training. Poids différés, API accessible via le Coding Plan.
• Hy4 Preview : 770 milliards de paramètres, 49 milliards d’actifs, publié par Tencent le 28 août 2026 sous licence Apache 2.0. Contexte dépassant le million de tokens. Conçu pour le codage, la productivité bureautique et la recherche scientifique. Déjà disponible sur OpenRouter et via l’API Yuanbao.
• Muse Spark Open : 816 milliards de paramètres totaux, 42 milliards d’actifs, contexte d’un million de tokens, publié par Meta le 15 octobre 2026. Présenté comme le modèle open-weight américain le plus capable à ce jour, orienté codage et travail agentique, et déployable sur des Mac Studio Apple M5 Ultra. Disponible via SageMaker JumpStart, avec des variantes de précision BF16 et NVFP4 selon ireadcustomer.com.
• Qwen 3 235B-A22B : 235 milliards de paramètres, 22 milliards d’actifs. Classé n°1 pour le raisonnement et le code par le blog Techsy.io (mise à jour du 5 juillet 2026). Licence Apache 2.0.
• DeepSeek R1 : 671 milliards de paramètres totaux, 37 milliards d’actifs par token. Publié fin 2024, il reste une référence pour le raisonnement mathématique et la logique profonde.
• Gemma 4 26B-A4B : sorti le 2 avril 2026 par Google DeepMind, ce modèle MoE active seulement 4 milliards de paramètres sur 26 milliards totaux. Il fait partie d’une famille comprenant aussi des versions denses (2B, 4B, 31B), toutes sous licence Apache 2.0.
• Muse Glimmer : 30 milliards de paramètres, publié par Meta le 10-11 août 2026 sous licence Apache 2.0. Modèle agentique multimodal conçu pour l’exécution locale sur PC/Mac avec une seule carte graphique (24 Go de VRAM). Accompagné d’un manifeste de Mark Zuckerberg plaidant pour l’IA open-weight.
• Llama 4 Scout : le modèle de Meta, avec son contexte de 10 millions de tokens, reste pertinent pour le traitement de documents massifs.
• Clef (27B) et Clef-flash (9B) : publiés par Cloudflare le 1er octobre 2026 sous Apache 2.0. Ce ne sont pas des modèles génératifs classiques : ils renvoient une probabilité typée par réponse autorisée. Clef-flash revendique 38,8 ms par décision et ne facture que l’entrée. Base probable reconstruite par des tiers : Qwen3.8-27B pour Clef. Fenêtre de contexte de 64k tokens selon une source unique (cryptobriefing.com) — à considérer comme non confirmée.
• Aleph Alpha Kolibri-1 : 78,1 milliards de paramètres totaux, seulement 3,46 milliards actifs par token (ratio d’activation d’environ 4,4 %), publié le 3 octobre 2026 sous Apache 2.0. Contexte maximal de 1 048 576 tokens (environ 262 144 tokens recommandés en production), poids BF16 et FP8, langues principales allemand et anglais. Un profil d’« efficacité extrême » qui en fait un candidat sérieux pour la latence maîtrisée à budget mémoire contraint.

Le cas des géants : Kimi K3, Qwen3.8-Max, Hy4, Muse Spark Open et DeepSeek V4 Pro

Avec 2,8 et 2,4 billions de paramètres, Kimi K3 et Qwen3.8-Max posent un défi matériel inédit. Même en quantification 4-bit, un modèle de cette taille pèserait plusieurs téraoctets — impossible sur une seule carte, même professionnelle. Les stratégies de contournement évoquées par la communauté incluent le sharding sur plusieurs nœuds, l’inférence distribuée avec des moteurs comme vLLM, ou l’utilisation d’API cloud. Le guide de déploiement de Qwen3.8-Max publié par Open Source For You le 4 août 2026 détaille ces approches.

Hy4 Preview, avec ses 770 milliards de paramètres, est plus accessible : selon Techgenyz, il peut être déployé sur des clusters de GPU professionnels avec quantification, et son API est déjà opérationnelle. Muse Spark Open (816 milliards, 42 milliards actifs) illustre une autre tendance : Meta le positionne explicitement pour un usage local sur Mac Studio M5 Ultra, ce qui suppose de tirer parti d’une architecture à activation sparse et de la mémoire unifiée d’Apple. DeepSeek V4 Pro, avec ses 1,6 billion de paramètres, reste hors de portée du matériel local en l’état — mais sa licence MIT et son architecture sparse attention le rendent plus accessible pour les clusters.

Un constat s’impose à la lecture de the-agent-report.com (16 octobre 2026) : « 816B, 560B, 120B en un jour » — la vague open-weight se heurte désormais à un mur de mémoire. Autrement dit, la course aux paramètres totaux n’est plus le bon indicateur de vitesse ; ce sont les paramètres actifs et la gestion du KV cache qui font la différence en production.

L’accélération logicielle : DeepSeek DSpark, llm-d 1.0 et les frameworks d’inférence

C’est l’une des annonces les plus importantes de l’été 2026 : DeepSeek DSpark, un framework d’inférence accélérée, a ouvert son code le 27 juin 2026 sous licence MIT, en collaboration avec l’Université de Pékin. Les benchmarks indépendants de juillet 2026 (sur A100 80 Go et H100, séquences de 1k à 8k tokens) montrent des gains de throughput de +51 % à +400 % selon les configurations, avec une dégradation de qualité inférieure à 0,3 % de BLEU. En production, des utilisateurs rapportent des accélérations de latence de 60-85 % sur DeepSeek V4-Flash-DSpark, et des gains de 50-70 % en throughput. DSpark fournit des checkpoints pré-entraînés pour d’autres modèles (Qwen3 et Gemma 4) et est compatible avec vLLM et SGLang.

Mais DSpark n’est pas seul, et l’automne a apporté deux briques majeures. D’abord, le 20 octobre 2026, les contributeurs du projet llm-d ont annoncé llm-d 1.0, une pile de serving d’inférence distribuée native Kubernetes, présentée à la PyTorch Conference North America et détaillée sur le blog d’IBM Research selon Unite.AI et Toolnavs. Pour les équipes qui font tourner des modèles sur plusieurs nœuds — c’est-à-dire celles qui déploient Kimi K3, Qwen3.8-Max ou Muse Spark Open —, c’est potentiellement plus structurant qu’un gain de quelques pourcents sur un seul GPU : llm-d orchestre la répartition de charge et le routage des requêtes à l’échelle d’un cluster. Ensuite, le même jour, Google a publié des versions TPU de vLLM et SGLang sur son blog développeurs, comme le rapporte note.com le 21 octobre 2026 : les deux moteurs open source les plus utilisés pour servir des modèles ouverts deviennent donc exécutables sur TPU, ce qui élargit le calcul économique du self-host au-delà du seul GPU NVIDIA.

Le blog Spheron propose un cadre de décision pour choisir entre vLLM, TensorRT-LLM et SGLang : l’optimisation d’inférence consiste à arbitrer entre throughput, latence et mémoire, pas à chasser un chiffre de leaderboard. vLLM reste le choix par défaut pour sa flexibilité et son écosystème, TensorRT-LLM excelle sur les GPU NVIDIA avec une latence minimale, et SGLang se distingue pour les workloads agentiques complexes grâce à son gestionnaire de radix attention. Un comparatif publié par Tensoria ajoute une lecture par cas d’usage : vLLM, Ollama, TGI, llama.cpp, LMDeploy, SGLang et TensorRT-LLM sont les principaux runtimes utilisés en production en 2026, et le choix dépend de quatre critères — débit vs latence, formats de quantification supportés (GPTQ, AWQ, int8, GGUF), matériel disponible (GPU datacenter, GPU grand public, Apple Silicon, CPU seul) et simplicité de déploiement. Le comparatif de QDNA et celui de fish.audio confirment cette hiérarchie : llama.cpp reste le seul choix sérieux pour du CPU pur, TensorRT-LLM n’a aucun sens sans GPU NVIDIA, et Ollama s’impose pour un premier test sur poste.

La rupture : les modèles à diffusion entrent dans la course à la vitesse

Le fait le plus marquant de l’automne n’est peut-être pas un modèle MoE de plus, mais Mercury 3 d’Inception, sorti le 19 octobre 2026. Contrairement aux modèles autorégressifs qui génèrent un token à la fois, Mercury 3 repose sur une architecture de diffusion : il génère des blocs de tokens en parallèle, ce qui lui permet de revendiquer plus de 1 000 tokens par seconde — 1 068 tokens/s selon iXBT — avec un contexte d’un million de tokens. Inception le présente comme « le modèle à diffusion le plus capable jamais publié », à un tarif de lancement de 0,10 $ par million de tokens d’entrée selon Unite.AI. Un test pratique publié par MindStudio le 20 octobre 2026 évalue ses performances en raisonnement, rappel factuel, tâches multilingues et codage agentique via API — l’occasion de vérifier si la vitesse de diffusion se paie ou non en qualité. C’est précisément le type de compromis que ce guide cherche à éclairer : un débit dix fois supérieur ne vaut que si la qualité tient.

Ces architectures permettent de faire tourner des modèles de très grande taille sur du matériel raisonnable, à condition de bien gérer la mémoire et la bande passante. La quantification (passage en 4 bits, Q4) est systématiquement utilisée pour réduire l’empreinte VRAM. Techsy.io indique ainsi que Qwen 3 235B-A22B nécessite environ 132 Go de VRAM en Q4, et DeepSeek R1 environ 136 Go. Le guide complet de la quantification publié par notre magazine (GGUF, AWQ, GPTQ, FP8) rappelle qu’un modèle de 70 milliards pèse 140 Go en FP16, mais seulement 40-45 Go en GGUF Q4_K_M.

Les chiffres agrégés de l’écosystème confirment l’ampleur du phénomène : selon VoxBooster, le Hugging Face Model Hub héberge plus de 1 250 000 modèles open source et à poids ouverts, la famille Meta Llama a dépassé les 350 millions de téléchargements cumulés, et 62 % des développeurs en IA exécutent activement des LLM ouverts localement. La quantification 4 bits GGUF/AWQ réduit l’empreinte mémoire de -72 % par rapport aux poids 16 bits non quantifiés, et les modèles 8B quantifiés génèrent entre 85 et 140 tokens par seconde sur les GPU grand public modernes et les puces Apple. Autant de repères qui cadrent le débat vitesse.

2. Les chiffres de vitesse : ce qu’on sait vraiment (et ce qu’on ne sait pas)

C’est le cœur du sujet, et il faut être honnête : les constructeurs communiquent beaucoup sur les scores de raisonnement, très peu sur le débit et la latence en conditions réelles. Voici ce que les sources disponibles permettent d’affirmer, avec leurs limites.

Ce qui est documenté

• Clef-flash (Cloudflare) : 38,8 ms par décision revendiquée, contre 524 ms pour l’approche Jev — un rapport de 13× annoncé par Cloudflare le 1er octobre 2026. À confronter aux tests indépendants, encore rares.
• Mercury 3 (Inception) : plus de 1 000 tokens/s (1 068 tokens/s selon iXBT), contexte d’un million de tokens, architecture à diffusion. Chiffre constructeur, à vérifier sur des charges réelles.
• DeepSeek DSpark : gains de throughput de +51 % à +400 % selon les configurations (benchmarks indépendants de juillet 2026, A100 80 Go et H100, séquences de 1k à 8k tokens), dégradation de qualité inférieure à 0,3 % de BLEU ; 60-85 % d’accélération de latence et 50-70 % de gain de throughput rapportés en production sur DeepSeek V4-Flash-DSpark.
• Modèles 8B quantifiés : 85 à 140 tokens/s sur GPU grand public et Apple Silicon (VoxBooster).
• Quantification 4 bits : -72 % d’empreinte mémoire par rapport au FP16 (VoxBooster).

Ce qui reste non documenté

Pour Kimi K3, Qwen3.8-Max, GLM-5.3, Hy4 Preview, Muse Spark Open et DeepSeek V4 Pro, aucun chiffre officiel de throughput ou de latence p50/p99 n’est publié. On sait qu’ils tournent, on sait sur quel type de cluster, mais les débits réels dépendent trop du matériel, du batch, de la longueur de contexte et du moteur d’inférence pour qu’un chiffre unique ait un sens. Méfiance donc devant tout tableau qui prétend classer ces géants sur un « tokens/s » unique : c’est presque toujours un chiffre de laboratoire, sur une configuration non reproductible.

C’est exactement le constat que dressait notre article sur les leaderboards open-weight : « 97 modèles classés, mais que mesurent-ils vraiment ? » — la moyenne simple, l’Elo ou le win-rate sont des choix d’agrégation, et le protocole (zero-shot, CoT, few-shot, température) déplace un modèle de dix places. La vitesse n’échappe pas à cette règle : un débit mesuré en batch de 32 sur des séquences courtes ne dit rien de la latence perçue par un utilisateur en chat.

3. Le mur de mémoire : pourquoi la vitesse se joue d’abord dans la VRAM

La leçon de l’automne 2026 est simple : à cette échelle, la vitesse est une affaire de mémoire avant d’être une affaire de calcul. Un MoE de 800 milliards de paramètres avec 42 milliards d’actifs (Muse Spark Open) ne sollicite qu’une fraction du réseau par token, mais il faut quand même loger les poids — ou les faire transiter — et gérer un KV cache qui explose avec le contexte d’un million de tokens.

C’est là que les choix de déploiement comptent :

• Quantification : BF16, FP8, NVFP4, GGUF Q4_K_M, AWQ, GPTQ. Chaque format a son compromis vitesse/qualité. Muse Spark Open est proposé en BF16 et NVFP4 selon ireadcustomer.com ; Kolibri-1 en BF16 et FP8.
• KV cache : les architectures qui le réduisent (DeepSeek V4.1 Flash, attention sparse de DeepSeek V4 Pro) gagnent directement en latence sur les longs contextes.
• Activation sparse : Kolibri-1 (3,46 milliards actifs sur 78,1 milliards, ~4,4 %) et Gemma 4 26B-A4B (4 milliards actifs sur 26) montrent qu’un ratio d’activation très bas est le meilleur levier de vitesse à budget mémoire fixé.
• Matériel : les Mac Studio M5 Ultra mis en avant par Meta pour Muse Spark Open, les GPU NVIDIA (H100, H200, B200), et désormais les TPU via vLLM et SGLang (20 octobre 2026) élargissent l’éventail.

Notre article sur le calcul économique du self-host (H100, H200, B200) va dans le même sens : le coût par token dépend moins du prix de la carte que du taux d’occupation et de la gestion du batch. Un modèle « rapide » mal servi peut coûter plus cher qu’un modèle « lent » bien orchestré — et c’est précisément ce que llm-d 1.0 cherche à résoudre à l’échelle du cluster.

4. Choisir selon son cas d’usage : un guide de décision

Assez de chiffres abstraits. Voici comment arbitrer, selon ce que vous voulez faire.

Vous voulez du temps réel sur une seule machine (PC, Mac, RTX 5090)

• Muse Glimmer (30B, Apache 2.0) : conçu pour 24 Go de VRAM, c’est le choix évident pour un poste unique.
• Gemma 4 26B-A4B : 4 milliards d’actifs seulement, excellent rapport vitesse/qualité pour du local.
• Kolibri-1 (78,1B, 3,46B actifs) : si vous avez la mémoire, son ratio d’activation de ~4,4 % en fait un modèle très véloce pour sa taille.
• Moteur : Ollama pour démarrer, llama.cpp pour le CPU pur, vLLM si vous avez un GPU et besoin de batch.

Vous servez une API à fort volume

• DeepSeek V4 Flash (284B, 13B actifs, MIT) : l’option budget, 33× moins chère que Kimi K3 pour une suite de tests.
• DeepSeek V4.1 Flash : si les chiffres communautaires se confirment (KV cache réduit, 552B MoE), c’est le meilleur candidat pour de longs contextes à faible latence.
• Moteur : vLLM par défaut, SGLang pour les workloads agentiques, TensorRT-LLM si vous êtes 100 % NVIDIA et visez la latence minimale, llm-d 1.0 si vous êtes sur Kubernetes multi-nœuds.

Vous faites de l’agentique et du code

• Muse Spark Open (816B, 42B actifs) : orienté codage et travail agentique, contexte d’un million de tokens.
• GLM-5.3 : meilleur score CyberGym (84,5 %), Terminal-Bench 3.0 à 28,3 %.
• Hy4 Preview (770B, 49B actifs) : codage, productivité, recherche scientifique.
• Moteur : SGLang (radix attention) pour les charges agentiques complexes.

Vous voulez une décision ultra-rapide, pas de la génération

• Clef / Clef-flash (Cloudflare) : 38,8 ms par décision revendiquée, ne facture que l’entrée. Pour du routage, de la classification ou du garde-fou, c’est un changement de paradigme — sous réserve de valider les chiffres en conditions réelles.

Vous cherchez le débit brut maximal

• Mercury 3 (Inception) : plus de 1 000 tokens/s revendiqués, architecture à diffusion. À tester sur votre charge avant de généraliser : la qualité en raisonnement et en rappel factuel est le point à vérifier.

5. Ce que la vague open-weight change vraiment pour la vitesse

Trois tendances de fond se dégagent de cet automne 2026.

Premièrement, la taille totale n’est plus le bon indicateur. Entre Kimi K3 (2,8T), Muse Spark Open (816B) et Kolibri-1 (78,1B), ce qui compte pour la vitesse, c’est le nombre de paramètres actifs et la gestion du KV cache. Un modèle de 78 milliards avec 3,46 milliards actifs peut être plus rapide et moins cher à servir qu’un géant de 800 milliards, pour un usage donné.

Deuxièmement, l’infrastructure se standardise et s’ouvre. llm-d 1.0 (Kubernetes), vLLM et SGLang sur TPU, DSpark compatible vLLM/SGLang : l’optimisation de la vitesse quitte le bricolage par modèle pour devenir une couche d’infrastructure réutilisable. C’est une bonne nouvelle pour les équipes de production, qui peuvent désormais benchmarker leurs modèles sur une pile stable.

Troisièmement, les architectures alternatives sortent du laboratoire. Mercury 3 (diffusion) et Clef (décision probabiliste) ne sont pas des MoE de plus : ils attaquent la latence par des chemins radicalement différents. Il est trop tôt pour savoir s’ils tiendront leurs promesses à l’échelle, mais ils rendent caduque l’idée qu’un LLM doit forcément générer token par token.

Reste la question qui fâche : les benchmarks de vitesse restent fragiles. Les constructeurs publient des chiffres choisis, les classements agrègent des protocoles hétérogènes, et les tests indépendants arrivent après coup. La seule méthode robuste reste de benchmarker sur votre matériel, votre moteur et vos charges — en suivant les principes d’évaluation continue que nous détaillions pour les modèles à releases bi-hebdomadaires : plutôt qu’un score unique, une batterie de mesures reproductibles, versionnées et rejouées à chaque changement de modèle ou de moteur.

Sources

• BenchLM — classement open-weight (mis à jour le 21 août 2026)
• LM Arena
• StartBrain — architecture MoE
• topai-tools.org — Deconstructing MoE Routing in Open-Weight Models (28 octobre 2026)
• Techsy.io — meilleurs LLM open source 2026 (5 juillet 2026)
• VoxBooster — statistiques LLM open source 2026
• Open Source For You — guide de déploiement Qwen3.8-Max (4 août 2026)
• Techgenyz — Hy4 Preview
• Meta Research — Introducing Muse Spark Open (15 octobre 2026)
• ireadcustomer.com — Meta Muse Spark Open: 816B MoE & 1M Context Guide (16 octobre 2026)
• blockchain.news — Meta unveils Muse Spark Open (15 octobre 2026)
• iaexpertos.net — Meta lance Muse Spark Open (16 octobre 2026)
• the-agent-report.com — 816B, 560B, 120B en un jour : la vague open-weight se heurte à un mur de mémoire (16 octobre 2026)
• Hugging Face — How to Use Muse Spark Open (16 octobre 2026)
• Unite.AI — Inception Releases Mercury 3 (19 octobre 2026)
• iXBT — Inception представила Mercury 3 (20 octobre 2026)
• MindStudio — Mercury 3 hands-on test (20 octobre 2026)
• ecclesieagazzi.com — Mercury 3 expliqué (21 octobre 2026)
• Unite.AI — llm-d 1.0 Debuts at PyTorch Conference (20 octobre 2026)
• Toolnavs — llm-d 1.0 est sorti (20 octobre 2026)
• note.com — vLLM et SGLang sur TPU (21 octobre 2026)
• Spheron — cadre de décision vLLM / TensorRT-LLM / SGLang
• Tensoria — Top serveurs d’inférence LLM open-source en 2026
• QDNA — comparatif vLLM, SGLang 2026
• fish.audio — comparaison des moteurs d’inférence LLM open-source
• Unite.AI — NVIDIA Launches Open-Weight Speech Model and 463,062-Hour Audio Dataset (28 octobre 2026)
• TechCrunch — Nvidia releases new open transcription model (28 octobre 2026)
• SiliconANGLE — Nvidia Nemotron 3.5 Transcribe (28 octobre 2026)

Article recherché et rédigé automatiquement · Magazine Electrosens