Magazine LLM Opensource · 16 September 2026

vLLM 0.26 et le routage MoE natif : le moteur d’inférence open source à l’heure des géants hybrides

Le routage natif des modèles Mixture-of-Experts (MoE) promettait de rendre l’inférence de Llama 4 bien plus efficace. Avec vLLM 0.8, sorti en mars 2025, cette promesse est devenue réalité – et les versions ultérieures (0.20.0, 0.26.0) ont encore affiné le moteur. En septembre 2026, alors que Qwen a détrôné Llama comme modèle auto-hébergé le plus déployé et que des modèles comme Qwen3.8-Max (2,4 billions de paramètres), Kimi K3 (2,8 billions, 896 experts), GLM-5.3 (753B) ou Hy4 (770B) repoussent les limites, vLLM reste le moteur d’inférence de référence pour les architectures MoE. Entre optimisations concrètes, benchmarks désormais disponibles et intégration avec des outils comme Unsloth ou LM Studio Bionic, nous décryptons ce que cette mise à jour change vraiment pour les praticiens de l’open‑source.

Le grand saut du routage MoE : pourquoi vLLM 0.8 est un tournant pour Llama 4

Les modèles Mixture-of-Experts (MoE) comme Llama 4 17B incarnent une promesse séduisante : atteindre des performances de modèle dense de plusieurs centaines de milliards de paramètres tout en n’activant qu’une fraction des poids à chaque token. En théorie, le gain est immense. En pratique, l’inférence de ces modèles s’est heurtée à un goulot d’étranglement logiciel : le routage des tokens vers les experts.

Avant vLLM 0.8, les moteurs d’inférence open‑source peinaient à tirer parti de la sparsité des MoE. Les implémentations logicielles activaient souvent tous les experts – même ceux inactifs –, consommaient de la mémoire inutilement et souffraient d’un overhead de communication inter‑GPU élevé. Résultat : les modèles MoE, pourtant conçus pour être économes, se révélaient parfois plus gourmands que leurs équivalents denses sur du matériel modeste.

vLLM 0.8, sorti en mars 2025, a introduit un routage natif expert‑par‑token avec load balancing et sparse attention. Le V1 Engine, devenu moteur par défaut depuis cette version, promettait un gain de débit de 1,7× par rapport à la version précédente. Pour Llama 4, cela signifiait la différence entre un modèle réservé aux clusters et un modèle déployable sur un seul GPU grand public. En septembre 2026, les versions 0.20.0 (avril 2026, avec CUDA 13.0) et 0.26.0 (août 2026, avec le noyau fused_topk_bias) ont encore renforcé cette avance. La page officielle de vLLM confirme la compatibilité avec toutes les versions CUDA 13.x (13.0 à 13.1) et liste les modèles supportés, incluant DeepSeek V4 Pro, Gemma 4, Llama 4 Scout/Maverick, Qwen3.6, Kimi K2.6, Mistral Small 4, GLM-5.3, etc. vllm.ai.

Aujourd’hui, vLLM supporte nativement les appels d’outils (tool calling) depuis la version 0.8.3, ce qui en fait un choix de premier plan pour les agents IA open source. Et avec l’arrivée de modèles comme Kimi K3 (2,8 billions de paramètres, 896 experts), Qwen3.8-Max (2,4 billions) ou GLM-5.3 (753B, sorti le 14 août 2026), le besoin d’un moteur capable de gérer efficacement le routage MoE n’a jamais été aussi crucial. Le classement des 95 modèles open-weight publié fin juillet 2026 par BenchLM confirme d’ailleurs que les architectures MoE dominent désormais le haut du tableau benchlm.ai.

Le 25 août 2026, la première conférence vLLM s’est tenue en parallèle du Ray Summit à San Francisco, officialisant la place centrale du moteur dans l’infrastructure open source. Ce co-parrainage n’est pas anodin : il reflète une convergence structurelle vers le RL post-training, qui exige des moteurs d’inférence capables de servir des modèles MoE géants avec une latence maîtrisée TechTimes.

Le cauchemar du MoE avant vLLM 0.8 : latence, mémoire et experts fantômes

Pour comprendre l’impact de vLLM 0.8, il faut revenir sur les difficultés rencontrées avec les versions antérieures (0.6.x, 0.7.x) et les autres moteurs.

Problème n°1 : l’activation de tous les experts. Dans une architecture MoE classique, chaque token est routé vers un sous‑ensemble d’experts (top‑k, souvent k=2). Mais sans routage natif optimisé, le moteur charge en mémoire tous les experts du modèle, même ceux qui ne sont pas sollicités. Pour un modèle comme Llama 4 17B (environ 17 milliards de paramètres, mais avec une architecture MoE qui en compte davantage au total), cela peut doubler l’empreinte mémoire par rapport à un modèle dense de taille équivalente.

Problème n°2 : l’overhead de communication inter‑GPU. Sur des configurations multi‑GPU, le routage des tokens vers les experts répartis sur différentes cartes génère des allers‑retours coûteux. Les versions antérieures de vLLM ne disposaient pas de noyaux spécialisés pour fusionner ces opérations, ce qui augmentait la latence P99 de façon significative.

Problème n°3 : la gestion inefficace du cache. Les modèles MoE produisent des activations clairsemées, mais les mécanismes de cache (KV cache) n’étaient pas conçus pour cette sparsité. Résultat : la mémoire GPU se saturait rapidement, même avec des batchs modestes.

Un exemple concret : sur une configuration A100 80 Go avec batch size 32 et séquence de 4096 tokens, les versions antérieures de vLLM pouvaient saturer la mémoire ou atteindre une latence P99 supérieure à 500 ms pour un modèle MoE de taille moyenne. Les utilisateurs devaient réduire le batch ou passer à des modèles denses moins performants.

Sous le capot de vLLM 0.26 : routage natif, load balancing et sparse attention

vLLM 0.8 attaque ces problèmes à la racine avec plusieurs innovations, et la version 0.26.0 (août 2026) les a considérablement affinées. Les notes de version publiées sur GitHub détaillent 411 commits issus de 212 contributeurs, dont 61 nouveaux Releases vLLM.

Routage expert‑par‑token avec top‑k. Le nouveau mécanisme sélectionne dynamiquement les k experts les plus pertinents pour chaque token, et ne charge en mémoire que ces experts. Les experts inactifs sont purement et simplement ignorés, ce qui réduit la consommation mémoire et le calcul inutile.

Noyau fused_topk_bias. Introduit dans la version 0.26.0 (août 2026), ce noyau fusionne les opérations de routage (calcul des scores, sélection top‑k, application du biais) en une seule passe. Selon les notes de version, il accélère le routage MoE de 1,5 à 2× et améliore le TPOT (Time Per Output Token) de près de 3% sur DeepSeek‑V4. Pour Llama 4, le gain est similaire.

Optimisations DeepSeek-V4. La version 0.26.0 inclut un kernel de routage spécialisé qui améliore le TPOT de 2,94% de bout en bout, ainsi que la suppression de répétitions/copies redondantes (1,8% E2E TPOT). Des optimisations sparse decode/prefill sont également au programme, réduisant les FLOPs inutiles.

Load balancing intégré. Le routeur intègre désormais un mécanisme de load balancing qui évite la surcharge d’un expert particulier. Cela stabilise la latence et évite les goulots d’étranglement, surtout en production avec des flux de requêtes variés.

Sparse attention. vLLM 0.8 optimise les phases de prefill et de decode pour ne calculer l’attention que sur les tokens pertinents, réduisant le nombre d’opérations FLOPs. La version 0.26.0 permet en outre de sélectionner le backend d’attention par groupe de KV-cache, améliorant le support des modèles hybrides.

Tool calling natif. Depuis la version 0.8.3, vLLM supporte le tool_choice='required' et les appels de fonctions nommées. Cette fonctionnalité est cruciale pour les agents IA : elle permet à Llama 4 (ou tout autre modèle supporté) d’interagir avec des API externes, des bases de données ou des outils métier, directement depuis le moteur d’inférence.

PagedAttention et continuous batching. Le cœur de vLLM repose sur PagedAttention, une technique de gestion de la mémoire qui réduit la fragmentation et permet un batching continu. Combiné au V1 Engine, cela maximise l’utilisation du GPU et améliore le débit global. Une analyse détaillée de l’architecture vLLM (commit d’août 2025) montre comment ces mécanismes s’articulent : scheduling, prefix caching, speculative decoding, et support multi-GPU Inside vLLM.

Nouveautés de la v0.26.0. Au-delà du MoE, cette version apporte le support complet de la famille de modèles Inkling (base modeling, CUDA graphs, attention relative Hopper FA4, speculative decoding MTP=1, LoRA, quantification NVFP4), la prise en charge du head_dtype fp32 pour les têtes de génération (améliorant la précision), et une maturation substantielle du KV offloading vers du stockage secondaire hiérarchisé. Le projet vLLM-Omni, aligné sur la ligne 0.26.0, ajoute le support de modèles multimodaux comme MiniMax H3 (génération vidéo/audio conjointe) et un runtime temps réel expérimental pour MiniCPM-o 4.5 vllm-omni.

Comparé à TensorRT‑LLM (NVIDIA) et TGI (Hugging Face), vLLM 0.26 se distingue par son approche open‑source et sa flexibilité. TensorRT‑LLM propose des kernels MoE très optimisés, mais son intégration est plus rigide et dépendante de l’écosystème NVIDIA. TGI, de son côté, a introduit un support MoE tardif et moins performant sur les configurations multi‑GPU. vLLM 0.26 offre un bon équilibre entre performance et simplicité de déploiement.

Benchmarks réels : ce que les données vérifiées confirment en 2026

Les benchmarks officiels de vLLM 0.26 avec Llama 4 17B MoE restent rares, mais les données publiées par les laboratoires et les tests communautaires permettent désormais d’établir des ordres de grandeur fiables.

GLM-5.3 : le MoE de 753B qui pousse le moteur dans ses retranchements. Sorti le 14 août 2026, GLM-5.3 réutilise la base Mixture-of-Experts de 743 milliards de paramètres de GLM-5.2, sans aucun nouveau paramètre. Tout le gain vient du post-entraînement : Terminal-Bench 3.0 passe de 4,6 % à 28,3 %, et le modèle s’impose en tête du benchmark cybersécurité CyberGym avec 84,5 %, devançant Claude Sonnet 5 et GPT-5.6 Sol DataNorth, SiliconANGLE. Avec un contexte de 1 million de tokens et une sortie de 128K, GLM-5.3 illustre précisément le type de charge de travail pour lequel vLLM 0.26 a été optimisé : de longues sessions agentiques, du code sur des bases entières, et un routage MoE intensif. Les poids sont annoncés en différé, mais l’API est accessible via le Coding Plan de Z.ai glm-ai.chat.

Hy4 : le 770B de Tencent entre en scène. Fin août 2026, Tencent a publié en open source Hy4 preview, un modèle de 770 milliards de paramètres avec 49 milliards d’actifs et un contexte de plus d’un million de tokens, conçu pour le codage, la productivité bureautique et la recherche scientifique Techgenyz. Cette architecture – 770B totaux, 49B actifs – est exactement le profil que le routage natif de vLLM sait servir efficacement : la sparsité est massive (moins de 7 % de paramètres activés par token), et le load balancing intégré évite la surcharge d’experts populaires.

Muse Glimmer : le petit MoE agentique de Meta. Publié le 10 août 2026 par Meta sous licence Apache 2.0, Muse Glimmer est un modèle agentique multimodal de 30 milliards de paramètres pensé pour l’exécution locale. En quantification 4 bits, les poids occupent moins de 20 Go de VRAM, mais il faut compter 24 à 32 Go une fois le cache KV et l’encodeur visuel inclus N-3DS. Sur une RTX 4090, ce type de modèle tourne confortablement avec vLLM, qui gère le routage MoE sans charger les experts inactifs. C’est la démonstration que le routage natif profite aussi aux petits MoE, pas seulement aux géants.

Qwen3.5 et la descendance : le MoE hybride comme standard. Depuis le 16 février 2026, Qwen3.5-397B-A17B (397 milliards de paramètres, 17 milliards d’actifs) a imposé l’architecture MoE hybride avec multimodalité native dès le pré-entraînement APIDog. Qwen3.8-Max, sorti début août 2026, pousse l’échelle à 2,4 billions de paramètres. Ces modèles, servis via vLLM, confirment la tendance : le routage expert-par-token n’est plus une option, c’est le cœur de l’inférence moderne.

Le match des serveurs d’inférence en 2026. Notre comparatif dédié (vLLM vs SGLang vs TensorRT-LLM) montre que les trois moteurs dépassent désormais les 1 800 tok/s sur H100 en conditions optimales, mais que vLLM conserve l’avantage sur les architectures MoE grâce à son routage natif et sa flexibilité. SGLang, avec son RadixAttention, reste redoutable sur les workloads à fort prefix caching, tandis que TensorRT-LLM exige des temps de compilation importants (jusqu’à 28 minutes sur certaines configurations) qui pénalisent l’itération rapide Spheron.

L’écosystème en septembre 2026 : une guerre froide des modèles qui s’intensifie

Le paysage des modèles open source n’a jamais été aussi disputé. En l’espace de trois mois, quatre laboratoires majeurs ont publié des architectures MoE de très grande taille :

• Z.ai a frappé le 14 août avec GLM-5.3 (753B), dominant le codage agentique et la cybersécurité sans ajouter un seul paramètre – une démonstration que le post-entraînement peut suffire à changer la hiérarchie.
• Tencent a répondu fin août avec Hy4 preview (770B, 49B actifs), ciblant codage, bureautique et recherche.
• Meta a surpris avec Muse Glimmer (30B, Apache 2.0), revenant à l’open source après la parenthèse propriétaire de Muse Spark en avril.
• Xiaohongshu a publié le 14 août dots3-note preview (280B, 16B actifs), un modèle de raisonnement qui avait fuité via une PR vLLM quelques semaines plus tôt OrcaRouter.

Côté prix, la guerre continue : DeepSeek V4 Pro (build 0813, mis en production le 12 août 2026) est proposé à 0,14 $/M tokens en entrée et 0,87 $/M tokens en sortie, nettement sous Kimi K3 sur OpenRouter TechBooky. Cette pression tarifaire pousse les équipes à optimiser leur infrastructure – et vLLM, par sa flexibilité et son support de la quantification (FP8, MXFP8/MXFP4, NVFP4, INT8, INT4, GPTQ/AWQ, GGUF), reste l’outil de choix pour réduire la facture GPU.

Le RL post-training, nouveau moteur de la convergence. La tenue de la première conférence vLLM en parallèle du Ray Summit 2026 (24-26 août) n’est pas un hasard. Le RL post-training exige des boucles d’inférence rapides et stables, capables de servir des milliers de requêtes simultanées sur des modèles MoE géants. vLLM, avec son continuous batching et son routage natif, s’impose comme la brique centrale de ces pipelines TechTimes.

Les outils périphériques suivent. Unsloth, avec sa Dynamic 3.0 GGUFs, permet désormais de fine-tuner des MoE géants sur du matériel grand public en adaptant la quantification à chaque couche. L’intégration avec vLLM est native : les modèles fine-tunés avec Unsloth se déploient directement via le moteur, sans conversion supplémentaire Unsloth. Côté local, LM Studio Bionic et Ollama restent des options pour les petits modèles, mais pour tout ce qui dépasse 30B, vLLM est devenu la référence – y compris sur une seule carte grand public, comme le montre le benchmark Qwen3-30B-A3B sur RTX 4090 (17 Go de VRAM en Q4, 40 tokens/s) N-3DS.

Verdict : vLLM 0.26, le moteur que l’écosystème MoE attendait

En septembre 2026, la question n’est plus de savoir si vLLM gère bien les MoE, mais quel modèle géant on va lui confier. GLM-5.3, Hy4, Qwen3.8-Max, Kimi K3, DeepSeek V4 Pro : tous ces modèles reposent sur une sparsité massive que seul un routage natif optimisé peut exploiter pleinement. vLLM 0.26, avec son noyau fused_topk_bias, ses optimisations DeepSeek-V4 et son support étendu des architectures hybrides, est le moteur qui transforme cette promesse théorique en débit concret.

Les défis restent réels : la gestion de contextes d’un million de tokens exige une mémoire KV toujours plus efficace, et le KV offloading hiérarchisé introduit en 0.26.0 n’en est qu’à ses débuts. Mais la direction est claire. Alors que la première conférence vLLM vient de se tenir et que le RL post-training s’impose comme le nouveau champ de bataille, le moteur de Berkeley est devenu l’infrastructure invisible sur laquelle repose une part croissante de l’IA open source.

Pour les praticiens, le message est simple : si vous déployez un MoE en 2026 – qu’il fasse 30B comme Muse Glimmer ou 2,4 billions comme Qwen3.8-Max –, vLLM 0.26 est le point de départ le plus sûr. Et avec la sortie imminente de la version 0.27, les optimisations devraient encore s’accumuler.

Sources

• vLLM – Page officielle
• vLLM – Releases GitHub
• vLLM-Omni
• Inside vLLM – Analyse d’architecture
• BenchLM – Classement des modèles open-weight
• GLM-5.3 – DataNorth
• GLM-5.3 – SiliconANGLE
• GLM-5.3 – Benchmarks et accès
• Hy4 preview – Techgenyz
• Muse Glimmer – N-3DS
• Qwen3.5 – APIDog
• dots-note-3.0 – OrcaRouter
• DeepSeek V4 Pro – TechBooky
• Ray Summit 2026 – TechTimes
• Comparatif vLLM vs TensorRT-LLM vs SGLang – Spheron
• Unsloth – Arguments du moteur vLLM

Article recherché et rédigé automatiquement · Magazine Electrosens