Electrosens R&D
Electrosens Magazine LLM Opensource · 15 October 2026

Nemotron-Labs-Diffusion : anatomie d’un LLM tri-mode qui décode 6× plus de tokens — vraie rupture ou effet d’annonce ?

Le 19 mai 2026, NVIDIA met en ligne sur Hugging Face les poids de Nemotron-Labs-Diffusion, une famille de modèles de langage capables de basculer entre trois modes de génération — autorégressif, diffusion et auto-spéculation — sans changer de poids. Le preprint arXiv, déposé le 7 juillet 2026, décrit un modèle qui décode 6× plus de tokens par forward pass que Qwen3-8B avec une précision comparable, et 4× plus de débit sur le benchmark SPEED-Bench. Mais à y regarder de près, les preuves restent préliminaires : aucun benchmark standard (MMLU, HumanEval, GSM8K) n’est fourni, les mesures sont réalisées sur un GPU propriétaire GB200 avec le moteur SGLang, et la licence, bien que commerciale, laisse des zones d’ombre sur les données d’entraînement. Et depuis, l’écosystème open source a continué de bouger à grande vitesse : Nemotron 3 Ultra, Mistral Large 4 « Le Chonk », Reflection Beam, Kolibri-1, Solar Open 2… Entre avancée réelle et effet d’annonce, ce décryptage plonge dans l’architecture, les performances annoncées et les zones d’ombre d’un modèle qui pourrait — ou non — redéfinir l’inférence des LLM.


Introduction : Nemotron-Labs-Diffusion, une famille de modèles tri-mode

NVIDIA n’en est pas à son coup d’essai avec les modèles de diffusion pour le texte. Après Diffusion-LM et MDLM, la firme avait déjà publié le 1er juillet 2026 Nemotron-Labs-TwoTower, un LLM à diffusion open-weight de 60 milliards de paramètres (dont 3 milliards actifs par token grâce au MoE), pré-entraîné sur 25 000 milliards de tokens. TwoTower générait des tokens en parallèle par débruitage itératif, avec un débit annoncé 2,42× supérieur à un baseline autorégressif et 98,7 % de la qualité conservée.

Mais dès le 19 mai 2026, NVIDIA a mis en ligne sur Hugging Face une nouvelle famille : Nemotron-Labs-Diffusion. Le preprint arXiv 2607.05722, déposé le 7 juillet 2026, décrit une architecture unifiée qui peut basculer entre trois modes de génération sans recharger les poids. Contrairement à TwoTower, il ne s’agit pas d’un modèle MoE dédié à la diffusion, mais d’une architecture entraînée de zéro avec un objectif conjoint autorégressif (AR) et diffusion masquée.

La famille comprend des variantes de 3B, 8B et 14B paramètres, incluant des versions base, instruct et vision-langage. La variante 8B instruct est celle mise en avant dans les communications. Les poids sont disponibles sur Hugging Face sous la NVIDIA Open Model License, une licence commerciale, et le code source est ouvert sur GitHub. Le dépôt GitHub confirme la date de publication publique : 19 mai 2026 pour les modèles 3B/8B/14B base, instruct et vision-langage.

Ce changement d’échelle (8B au lieu de 60B) est crucial : il rend le modèle potentiellement accessible sur du matériel grand public, mais soulève aussi des questions sur la continuité avec TwoTower. Les sources disponibles indiquent qu’il s’agit d’une architecture distincte, entraînée de zéro avec un objectif conjoint AR-diffusion. L’annonce initiale remonte d’ailleurs au 20 mai 2026, comme en témoigne l’article de MarkTechPost, avant la mise en ligne du preprint sur arXiv en juillet.

Un mot sur le contexte : Nemotron-Labs-Diffusion n’est pas la seule famille Nemotron de NVIDIA. La firme a parallèlement construit la lignée Nemotron 3, une famille de modèles multimodaux à architecture hybride Mamba-Transformer MoE, avec un contexte d’un million de tokens, déployable via vLLM, SGLang, Ollama ou llama.cpp sur n’importe quel GPU NVIDIA (developer.nvidia.com). Cette lignée culmine aujourd’hui avec Nemotron 3 Ultra 550B-A55B (550 milliards de paramètres totaux, 55 milliards actifs), qui intègre des couches MTP pour la spéculation native, un pré-entraînement en NVFP4 et un post-entraînement mêlant SFT, RL et distillation multi-professeurs (research.nvidia.com). Autrement dit, la branche « diffusion » de Nemotron-Labs et la branche « hybride Mamba » de Nemotron 3 coexistent : deux paris architecturaux distincts sur la même question — comment accélérer l’inférence sans sacrifier la qualité.


Architecture en trois temps : autorégressif, diffusion et auto-spéculation

Le cœur de l’innovation réside dans l’entraînement conjoint sur deux objectifs, permettant au modèle de fonctionner en trois modes à l’inférence :

Performances annoncées de Nemotron-Labs-Diffusion 8B instructTokens par forward pas5.9× vs baseline autorégressifTokens par forward pas6× vs baseline autorégressifDébit SPEED-Bench (sel4× vs baseline autorégressifDébit TwoTower vs base2.42× vs baseline autorégressifPotentiel speed-of-lig0.765× vs baseline autorégressif
  • Mode autorégressif (AR) : génération séquentielle classique avec masque causal, identique à un LLM standard. Ce mode est adapté aux déploiements cloud à forte concurrence.
  • Mode diffusion pure : départ d’un bloc de tokens masqués, raffinement parallèle par étapes itératives avec attention bidirectionnelle. La séquence est partitionnée en blocs contigus ; au sein de chaque bloc, les tokens s’observent bidirectionnellement, tandis qu’entre les blocs l’attention reste causale, permettant de réutiliser le cache KV des blocs précédents. Un sampler entraîné prédit, pour chaque position masquée, si la prédiction top-1 du modèle à l’étape de débruitage courante est correcte ; les positions prédites comme correctes sont validées à cette étape, ce qui permet de valider plusieurs tokens par forward pass.
  • Mode hybride (self-speculation) : le modèle génère des candidats en mode diffusion, puis les valide en mode AR, agissant ainsi comme son propre draft model, sans modèle draft auxiliaire ni tête de prédiction séparée.

L’article de TechTimes précise que « les modèles de diffusion ont historiquement nécessité beaucoup plus de données d’entraînement pour égaler la qualité des modèles AR », mais que Google DeepMind a démontré une parité de qualité commerciale avec Gemini Diffusion dès mai 2025. NVIDIA s’inscrit dans cette lignée.

Le mode hybride, appelé self-speculation, fonctionne en deux temps :

  1. Le mode diffusion génère rapidement un bloc de tokens candidats (parallélisme).
  2. Le mode AR valide ces tokens un par un, en acceptant ou rejetant chaque candidat selon la probabilité jointe.

Cette approche élimine le besoin d’un modèle draft séparé, réduisant l’empreinte mémoire et simplifiant le déploiement. Selon le preprint, le taux d’acceptation de la self-speculation dépasse celui des méthodes de prédiction multi-tokens (MTP) et améliore l’efficacité réelle sur matériel. Une analyse « speed-of-light » suggère en outre un potentiel à long terme de la diffusion : jusqu’à 76,5 % de tokens supplémentaires par forward pass par rapport à la self-speculation avec un sampler optimal.

Le dépôt GitHub ajoute un détail intéressant : le mode linear_spec (self-spéculation linéaire) peut être utilisé avec une variante LoRA — un adaptateur de draft optionnel (--lora) qui permet d’attacher un adaptateur de draft au modèle. Cela suggère que NVIDIA explore déjà des variantes plus légères pour le drafting, même si le mode de base ne nécessite pas de modèle draft séparé.

Il faut noter que l’idée de couches MTP pour la spéculation native n’est pas propre à Nemotron-Labs-Diffusion : elle irrigue aussi la famille Nemotron 3, dont l’Ultra intègre explicitement des « MTP layers for faster inference through native speculative decoding ». La différence tient au mécanisme : chez Nemotron 3 Ultra, la spéculation s’appuie sur des têtes MTP entraînées ; chez Nemotron-Labs-Diffusion, elle émerge du mode diffusion lui-même, sans tête dédiée. Deux philosophies, un même objectif de débit.


Auto-drafting interne : le vrai gain de vitesse ou un effet d’annonce ?

Le principal argument de vente de Nemotron-Labs-Diffusion est l’auto-drafting. Les chiffres avancés par NVIDIA pour la variante 8B instruct sont les suivants :

  • 5,9× plus de tokens par forward pass qu’un modèle AR comparable (arrondi à 6× dans les communications, comme le titre de l’article TechTimes du 9 juillet 2026 : « NVIDIA’s New LLM Decodes 6x More Tokens Without an Auxiliary Draft Model »). La page de recherche NVIDIA indique « 5.9× more tokens per forward » avec « better accuracy », tandis que l’abstract arXiv parle de « 6× » avec « comparable accuracy » — une légère divergence qui mérite d’être notée.
  • 4× le débit (throughput) sur le benchmark SPEED-Bench de NVIDIA, en mode self-speculation, déployé avec le framework d’inférence SGLang sur un GPU GB200.

Ces résultats proviennent d’un préprint non encore peer-reviewé et non reproduit sur d’autres matériels. Pour mettre ces chiffres en perspective, comparons avec les méthodes de speculative decoding externes et avec les autres accélérateurs de l’écosystème 2026 :

Méthode Type Accélération rapportée Qualité
Nemotron-Labs-Diffusion 8B (self-spec) Modèle unique 4× throughput (GB200 + SGLang) Comparable à Qwen3-8B (selon NVIDIA)
Nemotron 3 Ultra 550B-A55B (MTP natif) Modèle unique MoE 5,9× / 4,8× / 1,6× vs GLM-5.1, Kimi-K2.6, Qwen-3.5 Précision « on-par » (selon NVIDIA)
TwoTower (diffusion pure) Modèle dédié 2,42× vs AR 98,7 %
Reflection Beam (501B MoE) Modèle unique 3-4× moins de compute d’inférence revendiqué En retrait sur les tests de code
Medusa Têtes de draft additionnelles ~2× (variable) ~100 %
Lookahead Décodeur parallèle ~1,5× ~100 %
DSpark (DeepSeek) Draft model séparé 85 % plus rapide (V4) Delta BLEU < 0,3 %

Sources : arXiv 2607.05722 et TechTimes pour Nemotron-Labs-Diffusion, research.nvidia.com pour Nemotron 3 Ultra, AI Weekly pour TwoTower, SiliconANGLE et Help Net Security pour Reflection Beam, DeepSeek pour DSpark.

Le gain de 4× de Nemotron-Labs-Diffusion est mesuré sur un matériel propriétaire (GB200) avec SGLang, un moteur d’inférence qui, selon un benchmark récent, atteint 16 215 tok/s sur H100 avec Llama 3.1 8B aimultiple.com. Il est donc possible qu’une partie de l’accélération vienne de l’optimisation du moteur plutôt que de l’architecture elle-même. Sans benchmarks sur d’autres GPU (H100, A100, RTX), il est difficile d’isoler l’apport réel du modèle.

Un autre point d’interrogation : la perte de qualité sur les tâches de code et de mathématiques. Pour TwoTower, le score HumanEval passait de 79,27 à 75,58, et GSM8K de 92,49 à 90,14. Aucun chiffre n’est fourni pour Nemotron-Labs-Diffusion 8B, mais le preprint affirme une précision comparable à Qwen3-8B, sans donner de scores précis. L’abstract arXiv mentionne que le modèle « décode 6× plus de tokens par forward que Qwen3-8B avec une précision comparable », et la page de recherche NVIDIA précise « avec une meilleure précision » — une légère divergence qui mérite d’être notée.

À titre de comparaison, la famille Nemotron 3 Ultra revendique, elle, des gains de débit chiffrés face à des modèles nommés : 5,9× vs GLM-5.1-754B-A40B, 4,8× vs Kimi-K2.6-1T-A32B et 1,6× vs Qwen-3.5-397B-17B sur une configuration 8k tokens en entrée / 64k en sortie, avec des précisions « on-par » face aux meilleurs LLM ouverts et une supériorité revendiquée sur RULER à 1M de contexte. Là où Nemotron-Labs-Diffusion reste vague sur ses comparatifs de qualité, Nemotron 3 Ultra nomme ses adversaires — un contraste qui en dit long sur la maturité respective des deux communications.


Benchmarks sous tension : que valent vraiment les scores annoncés ?

Le tableau des performances disponibles est pour le moins lacunaire :

Source : ai-master.dev
Modèle HumanEval GSM8K MMLU Perplexité Throughput (tok/s)
Nemotron-Labs-Diffusion 8B Non communiqué Non communiqué Non communiqué Non communiqué 4× vs Qwen3-8B (GB200)
Nemotron 3 Ultra 550B-A55B Non communiqué Non communiqué Non communiqué Non communiqué 5,9× vs GLM-5.1 (8k/64k)
TwoTower (diffusion) 75,58 90,14 Non communiqué Non communiqué 2,42× vs AR
TwoTower (AR baseline) 79,27 92,49 Non communiqué Non communiqué 1×
Qwen3-8B (AR) ~85 ~95 ~86 ~3,5 ~3 311 (H100, vLLM)
Reflection Beam (501B MoE) Non communiqué Non communiqué Non communiqué Non communiqué 3-4× moins de compute revendiqué
Mistral Large 4 (1 000B, 49B actifs) Non communiqué Non communiqué Non communiqué Non communiqué Non communiqué
DeepSeek V4 (1,6T MoE) Non communiqué Non communiqué Non communiqué Non communiqué Non communiqué

Sources : arXiv 2607.05722, TechTimes, research.nvidia.com, AI Weekly, aimultiple.com pour Qwen3-8B, SiliconANGLE pour Beam.

On constate que Nemotron-Labs-Diffusion 8B n’a tout simplement pas de benchmarks standard (MMLU, HumanEval, GSM8K) dans les sources disponibles. Le seul chiffre est le gain de throughput, qui dépend fortement du matériel et du moteur d’inférence. En l’état, il est impossible de comparer la qualité du modèle à Qwen3-8B, Mistral Large 4 ou DeepSeek V4.

DeepSeek DSpark, par exemple, revendique une accélération de 85 % sur V4 sans perte de qualité (delta BLEU < 0,3 %), avec des checkpoints pré-entraînés fournis pour Qwen3 et Gemma 4, et une compatibilité avec vLLM et SGLang. Si Nemotron-Labs-Diffusion veut rivaliser, il devra démontrer des performances au moins équivalentes sur des benchmarks standardisés.

Le cas de Reflection Beam est instructif : ce modèle open-weight de 501 milliards de paramètres (23 milliards actifs), dévoilé le 5 octobre 2026, revendique lui aussi un avantage de compute — 3 à 4× moins de calcul d’inférence — mais les premiers tests indépendants le placent en retrait des meilleurs modèles ouverts sur les tâches de code (Help Net Security, SiliconANGLE). Autrement dit : dans l’écosystème 2026, revendiquer un gain d’efficacité sans publier de scores de qualité comparables expose mécaniquement au doute. Nemotron-Labs-Diffusion tombe exactement dans ce travers.


De la GB200 à la RTX 4090 : le casse-tête du déploiement local

Un des attraits de l’open-weight est la possibilité de faire tourner le modèle localement. Avec 8 milliards de paramètres (variante instruct), Nemotron-Labs-Diffusion est bien plus léger que TwoTower (60B). Une estimation prudente :

  • Inférence en FP16 : ~16 Go de VRAM (8B × 2 octets).
  • Avec quantification 4 bits : ~4 Go.
  • Sur une RTX 4090 (24 Go VRAM) : possible en FP16, avec un débit estimé comparable à Qwen3-8B (~3 311 tok/s sur H100 avec vLLM, mais moins sur RTX).
  • Sur une RTX 5090 (32 Go) : confortable, même en FP16.

Cependant, le mode self-speculation nécessite de pouvoir exécuter les deux passes (diffusion et AR) séquentiellement, ce qui peut augmenter la latence perçue. Les benchmarks de NVIDIA ont été réalisés sur GB200 avec SGLang, un moteur d’inférence optimisé pour les GPU haute performance. Sur du matériel grand public, les gains pourraient être moindres.

Le dépôt GitHub mentionne également le support de SGLang sur DGX Spark, la station de travail IA de NVIDIA. Cela indique que NVIDIA pousse l’adoption de son écosystème d’inférence au-delà du data center. Et ce n’est pas un hasard : la documentation officielle Nemotron insiste sur la portabilité — « Easily deploy models using open frameworks like vLLM, SGLang, Ollama and llama.cpp on any NVIDIA GPUs — from the edge and cloud to the data center » (developer.nvidia.com). La stratégie est claire : les modèles Nemotron servent aussi de vitrine pour l’écosystème d’inférence NVIDIA (NIM, SGLang, DGX).

Reste une question pratique rarement posée : le mode diffusion, par construction, génère des blocs de tokens en parallèle. Sur un GPU grand public, la mémoire nécessaire au cache KV et aux buffers de débruitage peut devenir le facteur limitant avant même le calcul. Les estimations ci-dessus ne concernent que les poids ; le budget VRAM réel d’un déploiement en self-speculation est supérieur. Sans chiffres publiés sur RTX, il faut se montrer prudent.


L’écosystème open source en octobre 2026 : où se situe vraiment Nemotron-Labs-Diffusion ?

Difficile d’évaluer Nemotron-Labs-Diffusion sans le replacer dans le paysage bouillonnant de l’automne 2026. En quelques mois, la scène open-weight a été littéralement retournée.

Source : noqta.tn

Côté européen, Aleph Alpha a publié le 3 octobre 2026 son modèle Kolibri-1 : 78,1 milliards de paramètres totaux, environ 3,46 milliards actifs (ratio d’activation ~4,4 %), contexte jusqu’à 1 048 576 tokens (262 144 recommandés en production), licence Apache 2.0, poids en BF16 et FP8 sur Hugging Face (Aleph-Alpha/Kolibri-1-BF16). Ses scores revendiqués — Tau2-Bench Telecom 94,7 %, Airline 76,7 %, Retail 69,9 %, BFCL v4 61,4 %, Tau3-Bench Banking 38,1 % — en font un acteur crédible sur les tâches agentiques, même si les tests indépendants restent à venir.

Côté français, Mistral AI a dévoilé le 6 octobre 2026 Mistral Large 4, surnommé « Le Chonk » : un modèle de frontière multimodal à plus de 1 000 milliards de paramètres (49 milliards activés par réponse), entraîné entièrement en Europe, présenté comme « le meilleur modèle à poids ouverts hors de Chine » (Wired, CNET, Korben). L’aperçu public a été ouvert le 6 octobre, les poids étant annoncés pour le 27 octobre 2026 (NeoTeo). Mistral met en avant la cybersécurité et les usages agentiques d’entreprise.

Côté américain, Reflection AI a dévoilé le 5 octobre 2026 Beam, son premier modèle open-weight : un MoE sparse de 501 milliards de paramètres (23 milliards actifs), orienté code et raisonnement, avec la promesse d’un compute d’inférence réduit de 3 à 4× et une disponibilité des poids « plus tard ce mois-ci » (TechCrunch, Unite.AI, The Next Web). Cloudflare a de son côté publié le 3 octobre 2026 ses modèles de décision Clef 27B et Clef-flash 9B sous Apache 2.0, avec un BFCL annoncé à 98,76 et une latence revendiquée de 38,8 ms contre 524 ms pour Jev.

Côté chinois, DeepSeek V4 (V4-Pro et V4-Flash, 1,6 billion de paramètres, 49 milliards actifs) continue de dominer les discussions depuis le 24 avril 2026, avec un passage en production de V4-Pro le 12 août 2026 et des capacités agentiques renforcées. Alibaba a dévoilé Qwen3.8-Max (2,4 billions de paramètres) le 3 août 2026. Upstage a lancé Solar Open 2 le 23 juillet 2026 : 250 milliards de paramètres, 15 milliards activés, contexte d’un million de tokens, conçu pour les agents.

Dans ce paysage, Nemotron-Labs-Diffusion occupe une niche bien particulière : ce n’est pas un modèle de frontière, ni un modèle agentique géant. C’est un modèle de recherche de taille moyenne (3B à 14B) dont l’ambition est architecturale — démontrer qu’un même jeu de poids peut servir trois modes de décodage. Sa valeur n’est donc pas dans un score MMLU, mais dans la preuve de concept. Et c’est précisément ce qui rend l’absence de benchmarks standard frustrante : pour juger d’une innovation architecturale, il faut pouvoir mesurer la qualité qu’elle préserve.


Les zones d’ombre : licence, données, reproductibilité

Trois points restent en suspens.

La licence. Les poids sont publiés sous la NVIDIA Open Model License, une licence commerciale. Elle autorise l’usage commercial, mais — comme souvent chez NVIDIA — elle ne dit rien de précis sur la composition des données d’entraînement. Or la documentation officielle Nemotron met en avant la transparence : « the training data used for these models, as well as their weights, are open and available on Hugging Face » (developer.nvidia.com). Pour la famille Nemotron 3, NVIDIA va jusqu’à publier les datasets (Nemotron-Pretraining-Code-v3, Nemotron-Pretraining-Legal-v1, Nemotron-Posttraining-v3, etc.) et les recettes d’entraînement. Nemotron-Labs-Diffusion, lui, ne bénéficie pas — dans les sources disponibles — de ce même niveau de documentation. C’est un écart notable entre les deux branches.

Les données d’entraînement. Aucune information publique sur le volume de tokens, la composition du corpus ou les éventuels filtrages. Pour un modèle qui prétend rivaliser avec Qwen3-8B, c’est une lacune : la qualité d’un LLM se joue autant sur les données que sur l’architecture.

La reproductibilité. Les chiffres de débit (4× sur SPEED-Bench) sont mesurés sur GB200 + SGLang. Aucune reproduction indépendante n’est disponible à ce jour. Le preprint n’est pas encore peer-reviewé. Et le benchmark SPEED-Bench est un benchmark interne NVIDIA — ce qui n’invalide rien, mais invite à la prudence.

À cela s’ajoute une question de fond : la self-speculation, en validant les tokens un par un en mode AR, introduit une dépendance séquentielle qui limite le parallélisme effectif. Le gain de 4× est un gain de débit en régime établi ; en latence pure (time-to-first-token, génération courte), l’avantage pourrait s’évaporer. NVIDIA ne publie pas de chiffres de latence, seulement de throughput.


Verdict : une belle idée d’architecture, une démonstration encore incomplète

Nemotron-Labs-Diffusion est, sur le papier, une contribution intéressante : un modèle unique capable de basculer entre AR, diffusion et self-speculation, avec un entraînement conjoint qui rend les deux objectifs complémentaires — la diffusion améliorant la planification « lookahead », l’AR fournissant les priors linguistiques gauche-droite. L’analyse « speed-of-light » (jusqu’à 76,5 % de tokens supplémentaires par forward pass avec un sampler optimal) trace une direction de recherche crédible.

Source : youtube.com

Mais en l’état, la démonstration reste incomplète :

  1. Aucun benchmark standard (MMLU, HumanEval, GSM8K) n’est publié, alors que le modèle revendique une précision « comparable » à Qwen3-8B.
  2. Les gains de débit sont mesurés sur un seul matériel (GB200) avec un seul moteur (SGLang), sans reproduction indépendante.
  3. La licence et les données manquent de transparence, contrairement à la famille Nemotron 3 qui publie datasets et recettes.
  4. Le preprint n’est pas peer-reviewé et le benchmark mis en avant (SPEED-Bench) est interne à NVIDIA.

Pour un praticien qui cherche aujourd’hui un modèle à déployer, Nemotron-Labs-Diffusion n’est pas — encore — un choix rationnel face à Qwen3-8B, Mistral Large 4, Kolibri-1 ou Solar Open 2. Pour un chercheur qui s’intéresse à l’inférence des LLM, c’est en revanche une lecture obligatoire : la piste de l’auto-drafting par diffusion est élégante, et le fait que NVIDIA la poursuive en parallèle de sa lignée Mamba-Transformer MoE (Nemotron 3) montre que la question de l’accélération de l’inférence reste ouverte.

La vraie question n’est pas « Nemotron-Labs-Diffusion est-il meilleur que Qwen3-8B ? » — personne ne peut y répondre avec les données actuelles. La vraie question est : « la diffusion pour le texte peut-elle, à terme, remplacer l’autorégressif ? » Sur ce point, le preprint apporte un élément de réponse : les deux objectifs sont complémentaires, pas concurrents. C’est peut-être là son apport le plus solide — et le plus durable.


Sources

Article recherché et rédigé automatiquement · Magazine Electrosens
📬 Restez à la pointe
Recevez chaque semaine les nouveautés de ce magazine par email.
💬 Une remarque, une correction ?
Aidez-nous à améliorer cet article. Nous prenons en compte vos retours.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *