Magazine LLM Opensource · 14 October 2026

vLLM et le routage natif des MoE : ce que l’inférence des Llama 4, GLM-5.3, Qwen3.8-Max et Mistral Large 4 change vraiment en 2026

Le routage natif des modèles Mixture-of-Experts (MoE) promettait de rendre l’inférence de Llama 4 bien plus efficace. Avec vLLM 0.8, sorti en mars 2025, cette promesse est devenue réalité – et les versions ultérieures ont encore affiné le moteur, jusqu’à la 0.31.0 qui fait autorité à l’automne 2026. Alors que Qwen a détrôné Llama comme modèle auto-hébergé le plus déployé, que Mistral Large 4 « Le Chonk » (1 000 milliards de paramètres, 49 milliards activés) vient d’être dévoilé et que des modèles comme Qwen3.8-Max (2,4 billions de paramètres), Kimi K3 (2,8 billions, 896 experts), GLM-5.3 (753B) ou Hy4 (770B) repoussent les limites, vLLM reste le moteur d’inférence de référence pour les architectures MoE. Entre optimisations concrètes, benchmarks désormais disponibles et intégration avec des outils comme Unsloth ou LM Studio, nous décryptons ce que cette évolution change vraiment pour les praticiens de l’open‑source.

Le grand saut du routage MoE : pourquoi vLLM 0.8 est un tournant pour Llama 4

Les modèles Mixture-of-Experts (MoE) comme Llama 4 17B incarnent une promesse séduisante : atteindre des performances de modèle dense de plusieurs centaines de milliards de paramètres tout en n’activant qu’une fraction des poids à chaque token. En théorie, le gain est immense. En pratique, l’inférence de ces modèles s’est heurtée à un goulot d’étranglement logiciel : le routage des tokens vers les experts.

Avant vLLM 0.8, les moteurs d’inférence open‑source peinaient à tirer parti de la sparsité des MoE. Les implémentations logicielles activaient souvent tous les experts – même ceux inactifs –, consommaient de la mémoire inutilement et souffraient d’un overhead de communication inter‑GPU élevé. Résultat : les modèles MoE, pourtant conçus pour être économes, se révélaient parfois plus gourmands que leurs équivalents denses sur du matériel modeste.

vLLM 0.8, sorti en mars 2025, a introduit un routage natif expert‑par‑token avec load balancing et sparse attention. Le V1 Engine, devenu moteur par défaut depuis cette version, promettait un gain de débit de 1,7× par rapport à la version précédente. Pour Llama 4, cela signifiait la différence entre un modèle réservé aux clusters et un modèle déployable sur un seul GPU grand public.

Depuis, la cadence de publication du projet n’a pas faibli. La page officielle de vLLM confirme la compatibilité avec toutes les versions CUDA 13.x et liste les modèles supportés, incluant DeepSeek V4 Pro, Gemma 4, Llama 4 Scout/Maverick, Qwen3.6, Kimi K2.6, Mistral Small 4, GLM-5.3, etc. vllm.ai. Et surtout, la version 0.31.0 a été publiée avec des améliorations majeures pour l’inférence des grands modèles de langage, confirmant que le moteur reste en tête de la course à l’automne 2026 af.net.

Aujourd’hui, vLLM supporte nativement les appels d’outils (tool calling) depuis la version 0.8.3, ce qui en fait un choix de premier plan pour les agents IA open source. Et avec l’arrivée de modèles comme Kimi K3 (2,8 billions de paramètres, 896 experts), Qwen3.8-Max (2,4 billions) ou GLM-5.3 (753B), le besoin d’un moteur capable de gérer efficacement le routage MoE n’a jamais été aussi crucial. Le classement des 95 modèles open-weight publié fin juillet 2026 par BenchLM confirme d’ailleurs que les architectures MoE dominent désormais le haut du tableau benchlm.ai.

Le 25 août 2026, la première conférence vLLM s’est tenue en parallèle du Ray Summit à San Francisco, officialisant la place centrale du moteur dans l’infrastructure open source. Ce co-parrainage n’est pas anodin : il reflète une convergence structurelle vers le RL post-training, qui exige des moteurs d’inférence capables de servir des modèles MoE géants avec une latence maîtrisée TechTimes.

Le cauchemar du MoE avant vLLM 0.8 : latence, mémoire et experts fantômes

Pour comprendre l’impact de vLLM 0.8, il faut revenir sur les difficultés rencontrées avec les versions antérieures (0.6.x, 0.7.x) et les autres moteurs.

Problème n°1 : l’activation de tous les experts. Dans une architecture MoE classique, chaque token est routé vers un sous‑ensemble d’experts (top‑k, souvent k=2). Mais sans routage natif optimisé, le moteur charge en mémoire tous les experts du modèle, même ceux qui ne sont pas sollicités. Pour un modèle comme Llama 4 17B (environ 17 milliards de paramètres, mais avec une architecture MoE qui en compte davantage au total), cela peut doubler l’empreinte mémoire par rapport à un modèle dense de taille équivalente.

Problème n°2 : l’overhead de communication inter‑GPU. Sur des configurations multi‑GPU, le routage des tokens vers les experts répartis sur différentes cartes génère des allers‑retours coûteux. Les versions antérieures de vLLM ne disposaient pas de noyaux spécialisés pour fusionner ces opérations, ce qui augmentait la latence P99 de façon significative.

Problème n°3 : la gestion inefficace du cache. Les modèles MoE produisent des activations clairsemées, mais les mécanismes de cache (KV cache) n’étaient pas conçus pour cette sparsité. Résultat : la mémoire GPU se saturait rapidement, même avec des batchs modestes.

Un exemple concret : sur une configuration A100 80 Go avec batch size 32 et séquence de 4096 tokens, les versions antérieures de vLLM pouvaient saturer la mémoire ou atteindre une latence P99 supérieure à 500 ms pour un modèle MoE de taille moyenne. Les utilisateurs devaient réduire le batch ou passer à des modèles denses moins performants.

Ces limites expliquent pourquoi, encore aujourd’hui, beaucoup d’équipes confondent vLLM et Ollama. Le second est un gestionnaire de modèles orienté usage local mono-instance ; le premier est un serveur de production conçu pour la charge, la clusterisation et le monitoring. Les guides de déploiement 2026 le rappellent sans détour : sur le même GPU, vLLM peut délivrer jusqu’à 9× plus de tokens par seconde qu’Ollama, avec un cache de préfixe automatique (APC), du speculative decoding intégré (EAGLE, Medusa) et un support multi-GPU via tensor, pipeline et expert parallelism n202.ru.

Sous le capot de vLLM : routage natif, load balancing et sparse attention

vLLM 0.8 attaque ces problèmes à la racine avec plusieurs innovations, et les versions ultérieures les ont considérablement affinées. Les notes de version publiées sur GitHub détaillent, pour la ligne 0.26.0, 411 commits issus de 212 contributeurs, dont 61 nouveaux Releases vLLM.

Routage expert‑par‑token avec top‑k. Le nouveau mécanisme sélectionne dynamiquement les k experts les plus pertinents pour chaque token, et ne charge en mémoire que ces experts. Les experts inactifs sont purement et simplement ignorés, ce qui réduit la consommation mémoire et le calcul inutile.

Noyau fused_topk_bias. Introduit dans la version 0.26.0 (août 2026), ce noyau fusionne les opérations de routage (calcul des scores, sélection top‑k, application du biais) en une seule passe. Selon les notes de version, il accélère le routage MoE de 1,5 à 2× et améliore le TPOT (Time Per Output Token) de près de 3% sur DeepSeek‑V4. Pour Llama 4, le gain est similaire.

Optimisations DeepSeek-V4. La version 0.26.0 inclut un kernel de routage spécialisé qui améliore le TPOT de 2,94% de bout en bout, ainsi que la suppression de répétitions/copies redondantes (1,8% E2E TPOT). Des optimisations sparse decode/prefill sont également au programme, réduisant les FLOPs inutiles.

Load balancing intégré. Le routeur intègre désormais un mécanisme de load balancing qui évite la surcharge d’un expert particulier. Cela stabilise la latence et évite les goulots d’étranglement, surtout en production avec des flux de requêtes variés.

Sparse attention. vLLM 0.8 optimise les phases de prefill et de decode pour ne calculer l’attention que sur les tokens pertinents, réduisant le nombre d’opérations FLOPs. La version 0.26.0 permet en outre de sélectionner le backend d’attention par groupe de KV-cache, améliorant le support des modèles hybrides.

Tool calling natif. Depuis la version 0.8.3, vLLM supporte le tool_choice='required' et les appels de fonctions nommées. Cette fonctionnalité est cruciale pour les agents IA : elle permet à Llama 4 (ou tout autre modèle supporté) d’interagir avec des API externes, des bases de données ou des outils métier, directement depuis le moteur d’inférence.

PagedAttention et continuous batching. Le cœur de vLLM repose sur PagedAttention, une technique de gestion de la mémoire qui réduit la fragmentation et permet un batching continu. Combiné au V1 Engine, cela maximise l’utilisation du GPU et améliore le débit global. Une analyse détaillée de l’architecture vLLM (commit d’août 2025) montre comment ces mécanismes s’articulent : scheduling, prefix caching, speculative decoding, et support multi-GPU Inside vLLM. Les guides de production 2026 chiffrent l’avantage : PagedAttention permet à vLLM d’utiliser près de 100 % de la VRAM disponible, contre 60 à 80 % chez les concurrents, et de servir 2 à 4× plus de requêtes concurrentes sur le même GPU n202.ru.

Nouveautés de la v0.26.0. Au-delà du MoE, cette version apporte le support complet de la famille de modèles Inkling (base modeling, CUDA graphs, attention relative Hopper FA4, speculative decoding MTP=1, LoRA, quantification NVFP4), la prise en charge du head_dtype fp32 pour les têtes de génération (améliorant la précision), et une maturation substantielle du KV offloading vers du stockage secondaire hiérarchisé. Le projet vLLM-Omni, aligné sur la ligne 0.26.0, ajoute le support de modèles multimodaux comme MiniMax H3 (génération vidéo/audio conjointe) et un runtime temps réel expérimental pour MiniCPM-o 4.5 vllm-omni.

Comparé à TensorRT‑LLM (NVIDIA) et TGI (Hugging Face), vLLM se distingue par son approche open‑source et sa flexibilité. TensorRT‑LLM propose des kernels MoE très optimisés, mais son intégration est plus rigide et dépendante de l’écosystème NVIDIA. TGI, de son côté, a introduit un support MoE tardif et moins performant sur les configurations multi‑GPU. vLLM offre un bon équilibre entre performance et simplicité de déploiement.

Fonctionnalité	vLLM 0.31 (V1 Engine)	vLLM <0.8	TensorRT-LLM	TGI
Routage natif MoE	Oui (expert-par-token)	Non (charge tous les experts)	Oui (kernels propriétaires)	Partiel (dépend du backend)
Load balancing	Intégré	Non	Oui	Non
Sparse attention	Oui (decode/prefill)	Non	Oui (via FlashAttention)	Non
Noyau fused_topk	Oui (depuis v0.26.0)	Non	Oui	Non
Support multi-GPU natif	Oui (tensor, pipeline, expert, context parallelism)	Oui (limité)	Oui (optimisé NCCL)	Oui (via HF Accelerate)
Tool calling natif	Oui (depuis v0.8.3)	Non	Non	Oui (via TGI)
Flexibilité de fine-tuning	LoRA sur couches denses et MoE	Non	Non	Non
Quantization	FP8, MXFP8/MXFP4, NVFP4, INT8, INT4, GPTQ/AWQ, GGUF	FP16/FP8	FP8, INT4	FP8, INT4
Modèles supportés	200+ architectures	~50	~30	~100

Benchmarks réels : ce que les données vérifiées confirment en 2026

Les benchmarks officiels de vLLM avec Llama 4 17B MoE restent rares, mais les données publiées par les laboratoires et les tests communautaires permettent désormais d’établir des ordres de grandeur fiables.

GLM-5.3 : le MoE de 753B qui pousse le moteur dans ses retranchements. Sorti le 14 août 2026, GLM-5.3 réutilise la base Mixture-of-Experts de 743 milliards de paramètres de GLM-5.2, sans aucun nouveau paramètre. Tout le gain vient du post-entraînement : Terminal-Bench 3.0 passe de 4,6 % à 28,3 %, et le modèle s’impose en tête du benchmark cybersécurité CyberGym avec 84,5 %, devançant Claude Sonnet 5 et GPT-5.6 Sol DataNorth, SiliconANGLE. Avec un contexte de 1 million de tokens et une sortie de 128K, GLM-5.3 illustre précisément le type de charge de travail pour lequel vLLM a été optimisé : de longues sessions agentiques, du code sur des bases entières, et un routage MoE intensif.

Les poids ont finalement été publiés le 28 août 2026 sur Hugging Face sous l’identifiant zai-org/GLM-5.3, en BF16, FP8 et F32, accompagnés de 27 versions quantifiées par la communauté (GGUF, NVFP4, MLX). La fiche modèle précise l’architecture : 753B paramètres totaux, 256 experts routés dont 8 activés par token, fenêtre de contexte de 1 048 576 tokens, vocabulaire de 154 880 entrées et 78 couches. Autrement dit, la charge de calcul réelle correspond à un modèle d’environ 47B — c’est exactement ce que le routage natif de vLLM exploite ip-calculator.ru. Sur DeepSWE v1.1, GLM-5.3 atteint 66,9, au niveau de Kimi K3 (67,5) et proche de Fable 5 (69,7).

Hy4 : le 770B de Tencent entre en scène. Fin août 2026, Tencent a publié en open source Hy4 preview, un modèle de 770 milliards de paramètres avec 49 milliards d’actifs et un contexte de plus d’un million de tokens, conçu pour le codage, la productivité bureautique et la recherche scientifique Techgenyz. Cette architecture – 770B totaux, 49B actifs – est exactement le profil que le routage natif de vLLM sait servir efficacement : la sparsité est massive (moins de 7 % de paramètres activés par token), et le load balancing intégré évite la surcharge d’experts particuliers.

Mistral Large 4 « Le Chonk » : le pari européen du trillion de paramètres. Le 6 octobre 2026, Mistral AI a dévoilé Mistral Large 4, surnommé « Le Chonk », un modèle multimodal à capacités agentiques de plus de 1 000 milliards de paramètres dont 49 milliards activés par réponse — donc une architecture MoE clairsemée Korben, Le Monde Informatique. Le laboratoire français le présente comme le meilleur modèle à poids ouverts hors de Chine, misant explicitement sur la « souveraineté » européenne dans la course États-Unis–Chine Wired, Euronews. L’aperçu public de l’API a été ouvert le 6 octobre, les poids étant annoncés pour le 27 octobre 2026 NeoTeo. Pour les praticiens vLLM, c’est un signal fort : un MoE de cette taille, avec une sparsité de l’ordre de 5 %, est précisément le cas d’usage pour lequel le routage expert-par-token et le KV offloading ont été conçus. Mistral met d’ailleurs en avant des usages cyberdéfense, industrie et finance CNET, ZDNET.

Reflection Beam : 501B pour un coût d’inférence divisé. Le 5 octobre 2026, Reflection AI a dévoilé Beam, son premier modèle à poids ouverts : un système MoE clairsemé de 501 milliards de paramètres totaux et 23 milliards actifs, orienté code, raisonnement et agents Unite.AI, TechCrunch. La revendication est audacieuse : un coût d’inférence 3 à 4× inférieur à celui des meilleurs modèles ouverts chinois, même si Beam reste en retrait sur les tests de codage Help Net Security. Les poids sont attendus plus tard dans le mois. Là encore, la sparsité (moins de 5 % d’activation) est le levier central — et le moteur qui la sert le mieux reste vLLM.

Qwen3.5 et la lignée Qwen. La famille Qwen reste le cas d’école du routage MoE. Qwen3.5-397B-A17B, publié le 16 février 2026, n’active que 17 milliards de paramètres par token pour 397 milliards au total, avec un contexte de 1 million de tokens sur la variante hébergée Qwen3.5-Plus Apidog. Le rapport technique de Qwen3 documente par ailleurs 36 trillions de tokens de pré-entraînement sur 119 langues et une architecture MoE à 128 experts dev-ai.fr. C’est cette lignée qui a propulsé Qwen au rang de modèle auto-hébergé le plus déployé, devant Llama.

Fine-tuning, quantification et déploiement : l’écosystème qui va avec

Un moteur d’inférence ne vit pas seul. En 2026, la chaîne outillée autour de vLLM s’est considérablement densifiée.

Unsloth Dynamic 3.0 GGUFs. Le fine-tuning de MoE géants sur matériel grand public a longtemps été utopique. Unsloth pousse la quantification dynamique à un niveau inédit : chaque couche reçoit un type de quantification adapté, ce qui rend possible l’exécution locale de modèles qui, en FP16, ne tiendraient sur aucun GPU de bureau. C’est le complément naturel de vLLM : on quantifie avec Unsloth, on sert avec vLLM.

Le cas GLM-5.3 en local. La publication des poids de GLM-5.3 le 28 août 2026 a déclenché une vague de quantifications communautaires — 27 versions recensées, du GGUF au NVFP4 en passant par MLX. Les guides pratiques 2026 décrivent le chemin complet : télécharger les poids, choisir le quant adapté à son matériel, lancer via Ollama ou llama.cpp, puis connecter le modèle à des agents de codage ip-calculator.ru. Pour la production, en revanche, la recommandation reste vLLM : pip install vllm, puis une simple commande vllm serve suffit à exposer une API compatible OpenAI n202.ru.

Le match des serveurs. vLLM n’est plus seul. SGLang (RadixAttention) et TensorRT-LLM (moteur compilé) complètent le trio de tête, avec des philosophies distinctes : Berkeley pour vLLM, Stanford pour SGLang, le géant vert pour TensorRT-LLM. Les mesures publiées en 2026 sur H100 situent les trois moteurs dans une fourchette serrée — de l’ordre de 1 850 à 2 100 tokens/s selon les charges — et c’est le test du MoE (DeepSeek V4, GLM-5.3, Qwen3.8-Max, Hy4) qui départage réellement les architectures. Le choix se joue donc moins sur le débit brut que sur la qualité du routage expert-par-token, la gestion du KV cache et la souplesse de déploiement.

Cloudflare Clef : un autre usage du MoE. Le 3 octobre 2026, Cloudflare a publié sous Apache 2.0 deux modèles de décision, Clef 27B et Clef-flash 9B, avec un score BFCL de 98,76 et une latence annoncée de 38,8 ms contre 524 ms pour Jev ai-stat.ru. Clef-Flash renvoie une distribution typée de probabilités plutôt qu’une réponse en prose — un usage radicalement différent des MoE génératifs, mais qui rappelle que l’écosystème open source se segmente désormais par fonction (décision, génération, code, agents) autant que par taille.

Ce que cela change concrètement pour les praticiens

Trois enseignements se dégagent pour quiconque déploie des MoE en 2026.

Premier enseignement : la sparsité est devenue la norme, pas l’exception. De Mistral Large 4 (49B actifs sur 1 000B) à Reflection Beam (23B sur 501B), en passant par Hy4 (49B sur 770B) et GLM-5.3 (8 experts sur 256), tous les modèles de frontière ouverts de l’automne 2026 sont des MoE clairsemés. Un moteur qui ne sait pas router expert-par-token n’est plus un moteur de production viable.

Deuxième enseignement : le choix du moteur se joue sur les détails. Le noyau fused_topk_bias, le load balancing, la sélection du backend d’attention par groupe de KV-cache, le KV offloading hiérarchisé : ce sont ces optimisations, invisibles dans un benchmark marketing, qui décident si un GLM-5.3 de 753B tient dans votre budget GPU ou non. La version 0.31.0 poursuit cette logique d’affinage incrémental.

Troisième enseignement : l’écosystème compte autant que le moteur. Unsloth pour la quantification, LM Studio pour l’usage local, vLLM pour la production, SGLang et TensorRT-LLM comme alternatives selon les contraintes matérielles : la chaîne outillée s’est stabilisée. La vraie question n’est plus « quel moteur est le plus rapide ? » mais « quelle combinaison quantification + moteur + modèle tient dans mon matériel pour ma charge ? ».

Reste une incertitude à surveiller : la publication effective des poids de Mistral Large 4, annoncée pour le 27 octobre 2026. Si elle est respectée, ce sera le premier MoE de frontière à poids ouverts entraîné entièrement en Europe — et un nouveau test de charge grandeur nature pour le routage natif de vLLM.

Sources

Article recherché et rédigé automatiquement · Magazine Electrosens

📬 Restez à la pointe

Recevez chaque semaine les nouveautés de ce magazine par email.

💬 Une remarque, une correction ?

Aidez-nous à améliorer cet article. Nous prenons en compte vos retours.

vLLM 0.8 : le routage MoE natif change-t-il vraiment la donne pour Llama 4 ?