Magazine LLM Opensource · 22 October 2026

RL post-training : comment Ray, vLLM et llm-d recomposent la stack open source

Le post-entraînement par renforcement s’est imposé en deux ans comme l’étape décisive de la vie des modèles ouverts. Au Ray Summit 2026, l’infrastructure qui le rend possible a cessé d’être un assemblage de bricolage pour devenir un système intégré — et depuis, l’arrivée de llm-d 1.0 vient de donner à cette stack sa couche Kubernetes manquante.

The RL Revolution: Why Post-Training Became the New Battleground

Il y a encore trois ans, la course aux LLM open source se jouait au pré-entraînement : qui lèverait le plus de capitaux, empilerait le plus de GPU, avalerait le plus de tokens. Cette époque est révolue. Le basculement s’est opéré discrètement, puis brutalement, avec la publication de modèles de raisonnement qui ont prouvé que la qualité finale d’un modèle se joue désormais presque entièrement dans sa phase de post-entraînement.

Le signal le plus éclatant est venu de Z.ai avec GLM-5.3, sorti le 14 août 2026. Le laboratoire pékinois a publié une version de son modèle avec zéro nouveau paramètre : il réutilise la base Mixture-of-Experts de 753 milliards de paramètres de GLM-5.2, et n’a travaillé que sur le post-entraînement. Les résultats parlent d’eux-mêmes : Terminal-Bench 3.0 passe de 4,6 % à 28,3 % — un gain de 23,7 points obtenu sans toucher à l’architecture. CyberGym, le benchmark de cybersécurité, est conquis à 84,5 %, devant Claude Sonnet 5 et GPT-5.6 Sol. DeepSWE atteint 66,9. Tout cela par le seul post-entraînement. Les poids sont diffusés en différé, mais le modèle est d’ores et déjà accessible via le Coding Plan et l’API, avec un contexte de 1 million de tokens et une sortie de 128K tokens.

Ce cas n’est pas isolé. Il cristallise une tendance que les équipes d’infrastructure observent depuis 2025 : le pré-entraînement produit des modèles de base de plus en plus interchangeables, et la différenciation se joue dans l’alignement, le raisonnement, l’agenticité — tout ce qui relève du renforcement. Les publications OpenAI sur les modèles de raisonnement ont montré la voie ; DeepSeek-R1 a démontré qu’on pouvait la suivre en open source ; et désormais, chaque release majeure met en avant son post-entraînement comme argument principal.

L’automne 2026 a d’ailleurs été d’une densité rare sur le front des poids ouverts, et chaque sortie confirme la thèse. Mistral Large 4 — surnommé « Le Chonk » — a été dévoilé le 6 octobre 2026 : un modèle de frontière à environ 1 000 milliards de paramètres dont 49 milliards activés par réponse, multimodal et orienté agentique, que Mistral présente comme le meilleur poids ouvert hors de Chine. L’aperçu public a ouvert le 6 octobre, les poids étant annoncés pour le 27 octobre sur Hugging Face. Le même jour, Reflection AI a dévoilé Beam, un modèle open-weight de 501 milliards de paramètres qui revendique 3 à 4 fois moins de calcul d’inférence que ses concurrents, quitte à accuser un retard sur les tests de code. Et le 15 octobre, Meta a frappé fort avec Muse Spark Open : 816 milliards de paramètres totaux, 42 milliards actifs, un contexte d’un million de tokens, présenté comme le modèle poids ouvert américain le plus capable à ce jour et optimisé pour le code et le travail agentique — y compris sur des Mac Studio équipés d’Apple M5 Ultra. À quoi s’ajoutent DeepSeek V4 Pro (12 août 2026), Hy4 de Tencent (8 septembre 2026, 770 milliards de paramètres, 49 milliards actifs, contexte 1M), Qwen 3 235B-A22B et Kimi K3 en tête des classements communautaires, ou encore le mystérieux Ox Alpha apparu sur OpenRouter le 20 août 2026.

Le Ray Summit 2026, qui s’est tenu du 24 au 26 août au San Francisco Marriott Marquis avec plus de 3 000 participants confirmés, a acté cette bascule. Plus qu’une conférence technique, c’était une déclaration : le post-entraînement par renforcement n’est plus un sujet de recherche, c’est un problème d’ingénierie système — et toute l’industrie open source s’organise autour de cette réalité.

When Inference Meets Training: The System Engineering Crisis

Pour comprendre pourquoi le RL post-training bouleverse l’infrastructure, il faut saisir ce qui le distingue radicalement du pré-entraînement classique. Dans un pipeline traditionnel, l’entraînement et l’inférence sont deux mondes séparés : on entraîne un modèle sur des clusters dédiés, on le déploie ensuite sur des serveurs d’inférence. Le RL post-training mélange les deux en permanence, dans une boucle serrée.

Le cycle est le suivant : le modèle génère des rollouts (des séquences de raisonnement ou d’action), un récompenseur évalue ces sorties, puis la politique du modèle est mise à jour par un algorithme de renforcement comme GRPO ou PPO. Chaque itération exige que l’inférence et l’entraînement tournent simultanément, en équilibre. Bryan Catanzaro, VP Applied Deep Learning Research chez NVIDIA, l’a formulé sans détour dans son keynote consacré à la construction et au post-entraînement de modèles ouverts avec Nemotron : si l’inférence s’arrête pour laisser l’entraînement rattraper son retard, l’utilisation GPU s’effondre ; si elle prend trop d’avance, la politique contre laquelle le modèle s’entraîne devient obsolète avant d’avoir pu apprendre de ses propres rollouts.

Ce n’est pas un problème de performance pure, c’est un problème de coordination temps réel entre CPU et GPU. La génération de rollouts est fondamentalement différente de l’inférence de production : elle exige un échantillonnage stochastique, des séquences longues, des récompenses calculées à la volée. Les moteurs d’inférence classiques, optimisés pour la latence et le throughput en mode serving, ne sont pas conçus pour ce régime. Les frameworks d’entraînement, eux, ne savent pas gérer la génération de données en continu.

Le résultat est une crise d’ingénierie système : les équipes qui veulent faire du RL post-training sérieux se retrouvent à câbler ensemble des outils qui n’ont pas été pensés pour fonctionner en boucle fermée. C’est exactement le problème que le Ray Summit 2026 a mis au centre des débats — et que l’industrie open source est en train de résoudre par la convergence.

The Convergence of Stacks: Ray, vLLM, SGLang and the New Orchestration

Le signe le plus tangible de cette convergence est organisationnel : la conférence vLLM d’Inferact s’est tenue en parallèle du Ray Summit 2026, sous le même toit, avec un pass unique pour les deux événements. Ce n’est pas un détail logistique — c’est la reconnaissance que les communautés de l’inférence et de l’orchestration parlent désormais le même langage, parce qu’elles résolvent le même problème. Le programme NVIDIA du Ray Summit le formule d’ailleurs explicitement : l’agentic RL exige un équilibre entre génération de données, inférence et entraînement, réparti sur CPU et GPU.

Dans cette stack unifiée, chaque outil a un rôle complémentaire. Ray est le framework d’orchestration distribué, créé à UC Berkeley en 2016 sous la direction d’Ion Stoica (également co-créateur d’Apache Spark et de SkyPilot). Il coordonne les workloads : génération de données, inférence, mise à jour des poids. C’est la couche qui décide quoi tourner où, quand, et avec quelles ressources. Ses déploiements de production incluent l’infrastructure d’entraînement de modèles d’OpenAI et le LLM interne Hendrix de Spotify — un pedigree qui rassure les équipes en production.

vLLM est le moteur d’inférence, développé à l’origine au Sky Computing Lab de UC Berkeley, avec plus de 2 000 contributeurs. Il apporte les mécanismes techniques qui rendent la génération de rollouts viable : PagedAttention pour la gestion de la KV cache, continuous batching pour maximiser l’utilisation GPU, chunked prefill, prefix caching, quantification (FP8, INT8), décodage spéculatif, et parallélisme tensor/pipeline/data/expert/context. C’est la brique qui transforme l’inférence en service fiable et rapide.

SGLang, de son côté, se positionne comme un moteur d’inférence optimisé pour les workloads de génération structurée et de raisonnement. Il est régulièrement cité aux côtés de vLLM dans les comparatifs d’optimisation d’inférence — un article de Spheron daté du 19 août 2026 le confronte d’ailleurs à vLLM et TensorRT-LLM dans un cadre de décision pour 2026 — et son écosystème (notamment via Baseten et NVIDIA Dynamo) en fait un acteur sérieux du paysage.

La convergence ne signifie pas fusion, mais interopérabilité. Ray orchestre, vLLM ou SGLang exécutent, et les interfaces entre les deux se standardisent. Les sessions du Ray Summit consacrées au « LLM Post-Training and High-Performance Serving » avec SkyRL, à l’agentic RL et à vLLM montrent que cette intégration est devenue le sujet central — plus personne ne discute de savoir s’il faut orchestrer, mais comment.

llm-d 1.0 : la couche qui manquait

La pièce la plus récente de ce puzzle est tombée le 20 octobre 2026, à la PyTorch Conference North America : llm-d 1.0, un projet sandbox de la CNCF porté par Google Cloud et IBM, qui orchestre vLLM et SGLang sur Kubernetes. Il ne s’agit ni d’un moteur d’inférence ni d’un fork de vLLM — c’est une couche de service distribuée qui vient précisément combler le vide entre l’orchestration générique (Ray) et le moteur spécialisé (vLLM/SGLang).

Son intérêt pour le RL post-training est direct : llm-d attaque le goulot que représente désormais le KV cache. Sa gateway est cache-aware, son scheduler EPP place les requêtes en fonction de la localité des caches, et son inference pool gère la répartition entre instances. Autrement dit, la brique qui, dans une boucle de renforcement, décide où envoyer un rollout pour qu’il réutilise un cache existant plutôt que d’en recalculer un. Les chiffres avancés par les partenaires du projet — 3x, 2x, 70 %, 13,9x — demandent à être lus avec prudence : ils mesurent des scénarios précis, pas une supériorité générale. Face à vLLM seul, SGLang, Ray Serve, KServe ou Dynamo, llm-d ne gagne que dans certaines configurations (multi-tenant, contrainte de souveraineté, équipe infra internalisée) et ne sert à rien dans d’autres.

Cette convergence s’étend au-delà des outils historiques. Les agent harnesses — ces couches d’orchestration qui transforment un LLM en travailleur autonome — sont devenus un étage indispensable de la stack locale, comme le montrent les comparatifs entre LangGraph, CrewAI, AutoGen et DeepSeek Harness. Et le fine-tuning local, qui tourne désormais sur du matériel grand public avec des outils comme Unsloth, Axolotl ou TRL, s’appuie sur les mêmes briques d’inférence. L’écosystème tout entier se recompose autour de cette contrainte commune : faire tourner des boucles de renforcement de manière fiable et économique.

Benchmarks and Metrics: The Missing Yardstick

Si la convergence technique progresse, un angle mort persiste : l’absence de benchmarks standardisés pour comparer les stacks de RL post-training. Les métriques classiques de l’inférence — throughput en tokens/s, latence, coût par requête — ne capturent pas ce qui compte vraiment dans une boucle de renforcement.

Prenons un exemple concret. Une stack qui génère des rollouts 20 % plus vite peut sembler supérieure, mais si elle le fait au prix d’une utilisation GPU irrégulière (pics et creux), le coût réel en GPU-hours explose. Inversement, une stack plus lente mais parfaitement équilibrée entre inférence et entraînement peut produire plus d’itérations utiles par heure. Les métriques d’inférence classiques ne mesurent pas l’équilibre — elles mesurent la vitesse d’un seul composant.

Le taux d’utilisation GPU est un meilleur indicateur, mais il reste partiel. Il ne dit rien de la qualité des rollouts générés, ni de la stabilité de l’entraînement. Or, dans le RL post-training, la qualité des données générées est aussi importante que la vitesse de génération. Un rollout médiocre qui fait régresser la politique coûte plus cher qu’un rollout lent mais bon.

L’épisode llm-d est instructif à cet égard. Les chiffres de benchmark partenaires du projet (3x, 2x, 70 %, 13,9x) illustrent parfaitement le problème : ils sont réels, mais ils mesurent des scénarios choisis, sur des configurations choisies, avec des métriques choisies. Un « 13,9x » sur un cache hit ratio ne dit rien du coût total d’une boucle RL. C’est exactement le type de chiffre qu’il faut savoir décoder avant de l’afficher sur une slide de comité d’architecture.

Les équipes qui déploient ces stacks en production se retrouvent donc à inventer leurs propres métriques : nombre d’itérations RL par heure, stabilité de la loss, taux de rejet des rollouts, coût total par point de benchmark gagné. C’est un terrain de jeu ouvert, et les acteurs qui proposeront des repères fiables — qu’il s’agisse de benchmarks académiques ou de suites de tests industrielles — prendront un avantage décisif. Des initiatives comme BenchLM (benchlm.ai), qui compare 95 modèles depuis juillet 2026, montrent la voie, mais elles portent sur les modèles, pas sur les stacks. En attendant, la prudence s’impose : comparer deux stacks sur un seul chiffre de throughput, c’est comparer deux voitures sur la seule puissance du moteur sans regarder la consommation, la tenue de route ou la fiabilité.

Architectural Trade-offs: Orchestration vs Inference Engines

Le choix d’une stack de RL post-training se résume souvent à une question : où placer la frontière entre orchestration et inférence ? Ray et vLLM/SGLang incarnent deux philosophies différentes, et le compromis est rarement évident.

Ray est un framework d’orchestration généraliste, Python-native, conçu pour coordonner des workloads distribués hétérogènes. Sa force est la flexibilité : il peut gérer des pipelines complexes, des dépendances entre tâches, des reprises après échec, et s’adapter à des topologies changeantes. Sa faiblesse est la latence : la couche d’orchestration ajoute une surcharge qui peut devenir pénalisante dans des boucles RL à haute fréquence, où chaque milliseconde compte.

vLLM et SGLang sont des moteurs d’inférence spécialisés, optimisés pour une seule chose : exécuter des modèles de langage le plus efficacement possible. Leur force est la performance brute : continuous batching, gestion fine de la KV cache, parallélisme optimal. Leur faiblesse est le périmètre : ils ne savent pas orchestrer un pipeline multi-étapes, gérer des dépendances, ou coordonner plusieurs types de workloads.

llm-d introduit une troisième voie, plus subtile : une couche de service Kubernetes-native qui se place entre l’orchestrateur et le moteur, et dont le métier est précisément de gérer ce que ni Ray ni vLLM ne gèrent bien — la localité du KV cache et le placement des requêtes à grande échelle. C’est une réponse architecturale au fait que, dans une boucle de renforcement, la question n’est plus seulement « quel GPU exécute quoi » mais « où est déjà le cache de ce rollout ».

Le compromis réel dépend du profil de l’équipe. Une petite structure qui fait du fine-tuning local sur quelques GPU n’a besoin ni de Ray ni de llm-d : vLLM seul suffit. Une équipe qui industrialise une boucle RL multi-nœuds a besoin de Ray pour la coordination et de vLLM/SGLang pour l’exécution. Une organisation qui sert plusieurs équipes sur un cluster Kubernetes partagé trouvera dans llm-d la brique de mutualisation qui manquait. Et une équipe qui cherche la performance maximale sur un workload unique préférera souvent la simplicité d’un moteur seul à l’empilement de couches.

What the Open-Weight Wave Changes for the Stack

La vague de modèles ouverts de l’automne 2026 n’est pas qu’une affaire de benchmarks : elle redéfinit les contraintes matérielles de la stack. Muse Spark Open, avec ses 816 milliards de paramètres totaux et 42 milliards actifs, illustre le mur de mémoire auquel se heurtent désormais les déploiements. Un modèle de cette taille ne se sert pas sur un seul nœud ; il exige du parallélisme expert, une gestion de KV cache d’autant plus critique que le contexte atteint un million de tokens, et des formats de poids compressés (BF16 vs NVFP4) qui changent radicalement l’empreinte mémoire.

Ce mur de mémoire a une conséquence directe sur le RL post-training : plus le modèle est gros, plus la génération de rollouts coûte cher, et plus l’équilibre entre inférence et entraînement devient délicat. C’est précisément là que les optimisations de cache (llm-d), de batching (vLLM) et d’orchestration (Ray) cessent d’être des raffinements pour devenir des conditions de viabilité économique.

Le mouvement est général. Mistral Large 4, avec ses ~1 000 milliards de paramètres et 49 milliards actifs, mise sur la souveraineté européenne et la cybersécurité ; Reflection Beam, avec ses 501 milliards, revendique l’inverse — moins de calcul d’inférence, quitte à concéder du terrain sur le code. Chacun de ces arbitrages a un impact sur la stack : un modèle qui économise le calcul d’inférence allège la boucle RL ; un modèle qui mise sur le contexte long la charge. Les équipes d’infrastructure ne choisissent plus seulement un modèle pour ses scores, mais pour la forme de sa courbe de coût dans leur pipeline de post-entraînement.

Conclusion: The Stack Is the Product

Ce que le Ray Summit 2026 a annoncé, et ce que llm-d 1.0 a concrétisé un mois plus tard, c’est un changement de nature du logiciel open source de l’IA. Pendant des années, la valeur était dans le modèle : on publiait des poids, on comparait des scores, on célébrait des records. Désormais, la valeur se déplace vers la stack qui permet de produire ces modèles — l’orchestration, l’inférence, la gestion du cache, la mesure de l’équilibre.

Les trois couches — Ray pour la coordination, vLLM/SGLang pour l’exécution, llm-d pour le service distribué sur Kubernetes — ne sont pas en concurrence : elles répondent à des problèmes différents d’un même pipeline. La maturité de l’écosystème se mesure désormais à sa capacité à faire tourner ces couches ensemble, de manière fiable, sur des modèles toujours plus gros et des contextes toujours plus longs.

Reste la question qui fâche : comment savoir si une stack est bonne ? Tant que l’industrie n’aura pas produit de benchmarks sérieux pour le RL post-training — pas des chiffres de throughput, mais des mesures d’équilibre, de stabilité et de coût par point gagné —, les équipes continueront de naviguer à l’estime. C’est le prochain chantier. Et il est aussi important que celui des modèles.

Sources

• Ray Summit 2026: RL Post-Training Forces Open-Source AI Infrastructure to Converge — TechTimes, 25 août 2026
• Ray Summit 2026 — Hosted by Anyscale — Anyscale
• Ray Summit 2026: Physical AI, RL, and the infrastructure that runs them — Blog Anyscale
• Ray Summit 2026 — Keynote Sessions — YouTube (playlist officielle)
• llm-d 1.0 Debuts at PyTorch Conference with Production Inference Stack — Unite.AI, 20 octobre 2026
• llm-d 1.0 est sorti : la pile d’inférence distribuée — Toolnavs, 20 octobre 2026
• Introducing Muse Spark Open, The Most Capable US Open-Weight Model to Date — Meta AI Research, 15 octobre 2026
• Meta unveils Muse Spark Open with 1M context, 42B active — Blockchain.news, 15 octobre 2026
• Meta Muse Spark Open: 816B MoE & 1M Context Guide — 16 octobre 2026
• 816B, 560B, 120B en un jour : la vague open-weight se heurte désormais à un mur de mémoire — The Agent Report, 16 octobre 2026
• Mistral dévoile Large 4, un modèle à plus de 1 000 milliards de paramètres — Le Monde Informatique, 7 octobre 2026
• Mistral Large 4, le modèle à 1 000 milliards de paramètres surnommé Le Chonk — Korben, 7 octobre 2026
• Mistral Says Its New AI Model ‘Le Chonk’ Is the Best Open-Weight Offering Outside of China — Wired, 6 octobre 2026
• Sortie de Mistral Large 4 : aperçu API et poids — NeoTeo, 7 octobre 2026
• Reflection AI debuts open-source Beam model with 501B parameters — SiliconANGLE, 6 octobre 2026
• Reflection’s Beam trails top open models on coding tests but claims lower inference compute — Help Net Security, 6 octobre 2026

Article recherché et rédigé automatiquement · Magazine Electrosens