---

Juin 2026 : vLLM officialise son support natif du DGX Spark – une rupture confirmée

Le 1er juin 2026, la fondation vLLM publiait sur son blog officiel l’article « vLLM on the DGX Spark: Architecture, Configuration, and Local AI », marquant le premier support natif d’un moteur d’inférence open source pour le GB10 Grace Blackwell. Depuis, l’adoption a été rapide : les développeurs ont pu exploiter pleinement la mémoire unifiée de 128 GiB, le format NVFP4 et les kernels CUDA spécifiques au SM121. Les premiers retours confirment que le DGX Spark n’est plus un simple jouet de démonstration : il sert des modèles de 70B à 120B paramètres avec des débits compétitifs face au cloud, sans aucune dépendance externe.

L’importance de cette officialisation est triple. D’abord, vLLM est le moteur d’inférence open source le plus déployé en production, supportant des centaines de modèles (Llama, Mistral, DeepSeek, Nemotron). Ensuite, le DGX Spark – avec ses 128 GiB de mémoire unifiée CPU+GPU et sa bande passante de 273 Go/s – reste le premier appareil grand public capable d’exécuter des LLM de 70B à 120B paramètres sans swap disque. Enfin, cette annonce a ouvert la voie à des initiatives communautaires comme le projet mark-ramsey-ri/vllm-dgx-spark qui propose des scripts de clustering multi-nœuds.

Le blog officiel vLLM précise les réglages recommandés : --gpu-memory-utilization doit laisser de la marge dans le pool mémoire unifié (OS, runtime container, cache KV), et --max-num-seqs doit rester bas car le DGX Spark est taillé pour l’inférence en petit batch plutôt que la concurrence élevée. Les builds actuels utilisent CUDA graphs par défaut, avec des gains possibles via les kernels FP4 récents, le scheduling asynchrone et le speculative decoding MTP – mais ces choix restent spécifiques au modèle et à la version.

DeepSeek V4 Flash 0731 : le géant qui tient en cluster, chiffres à l’appui

Le 31 juillet 2026, DeepSeek a publié la version officielle de son modèle V4 Flash-0731 : 284 milliards de paramètres au total, 13 milliards actifs par token, une fenêtre de contexte d’un million de tokens, et une licence open-weight. C’est un événement majeur pour l’écosystème DGX Spark : ce modèle de niveau « frontier » peut s’exécuter sur deux Spark en cluster, grâce à la quantification NVFP4.

Anatomie d’un MoE nouvelle génération

DeepSeek-V4-Flash est un MoE de 284B totaux / 13B actifs qui associe une attention hybride – Compressed Sparse Attention (CSA) + Heavily Compressed Attention (HCA) – avec des Manifold-Constrained Hyper-Connections (mHC). Cette architecture atteint seulement 27 % des FLOPs d’inférence par token de V3.2 et 10 % de son cache KV à 1M de contexte. Pré-entraîné sur plus de 32 000 milliards de tokens, le modèle a été affiné en deux étapes : cultivation d’experts spécialisés puis consolidation unifiée par distillation on-policy.

Le checkpoint officiel est en poids mixtes FP4+FP8 : les poids des experts MoE sont stockés en FP4 tandis que les paramètres restants (attention, normes, routeur) restent en FP8. Une variante NVFP4 (nvidia/DeepSeek-V4-Flash-NVFP4) est également disponible, re-quantifiée par NVIDIA modelopt, qui tourne sur les GPU Blackwell avec le cache d’index FP4.

Les chiffres de performance sur cluster

Le projet elsung/dgx-spark-deepseek-v4-flash (mis à jour en août 2026) documente des résultats précis sur deux DGX Spark reliés par un câble direct 200 G QSFP56 (RoCE/NCCL) :

Configuration	Modèle / quant	Single-stream	Agrégé
2× DGX Spark, TP=2 (vLLM)	DeepSeek-V4-Flash FP8 officiel	~41 tok/s	~350 tok/s @ c=32
1× DGX Spark (antirez ds4)	DeepSeek-V4-Flash IQ2_XXS	~14 tok/s	—
1× DGX Spark (llama.cpp GGUF suite)	9B → 172B MoE	jusqu’à 67 (35B-A3B)	—

Le tableau comparatif inter-machines est tout aussi éclairant :

Machine	Moteur / quant	Decode t/s	Prefill t/s	Concurrency
RTX PRO 6000 (96 GB GDDR7)	ds4.c	46.9	344	single-stream only
2× DGX Spark	vLLM FP8	~41	~1785	~350 agg @ c=32
Mac Studio M2 Ultra (192 GB)	ds4.c	29.7	389	single-stream only
1× DGX Spark	ds4.c IQ2_XXS	~14	410	single-stream

Seuls les Sparks exécutent la qualité FP8 complète, ont ~5× le prefill et gèrent un vrai débit multi-stream. Les machines ds4.c sont limitées au single-stream. Le cache KV est un pool partagé d’environ 1,1 million de tokens (GPU KV cache size: 1,105,096), réparti entre toutes les requêtes actives.

Le projet propose trois profils de lancement :

Lancement	Contexte	Single-stream	Pic agrégé	Meilleur pour
mytoolz dsv4-up base	1M	~41 t/s	~103 @ c6	chat interactif · longs docs / codebases entières
mytoolz dsv4-up batch	256K	~41 t/s	~350 @ c32	nombreux agents · batch · evals
mytoolz dsv4-up fast	32K	~41 t/s	~270 @ c32	débit max, contexte court

Une autre source (llmrequirements.com, 30 juin 2026) rapporte 61 tok/s en single-stream et 261 tok/s à 16 de concurrence sur deux DGX Spark – des chiffres légèrement supérieurs à ceux d’elsung, probablement dus à des configurations différentes (le lien QSFP56 direct vs switch). Ces écarts soulignent l’importance de la configuration réseau et du profilage.

Sur un seul DGX Spark : 1 000 tok/s en prefill

Le 1er août 2026, un utilisateur des forums NVIDIA a publié des résultats impressionnants sur un seul DGX Spark : 1 000 tok/s en prefill et 59 tok/s en multi-agent serving avec DeepSeek-V4-Flash-0731. Ce résultat a été obtenu en forchant le moteur ds4 (développé par antirez) avec un backend CUDA maison, avant que l’upstream n’ajoute son propre support. C’est une démonstration que même en configuration mono-nœud, le GB10 peut servir des agents IA à un débit tout à fait utilisable.

Le support SGLang du drafter DSpark

Le 2 août 2026, un PR SGLang (pull request #29538) a ajouté le support du drafter DSpark pour DeepSeek-V4-Flash-DSpark et DeepSeek-V4-Pro-DSpark. DSpark est un block drafter : à chaque étape de décodage, il propose un bloc de block_size tokens (défaut 5) en un seul forward, et la cible vérifie le bloc entier en une passe. Le drafter est un empilement MTP à trois étages avec une tête de Markov (affine le bloc de manière autorégressive) et une tête de confiance (score chaque position). Il utilise les états cachés fusionnés de la cible plutôt que son propre KV token, donc pas de modèle de draft séparé à télécharger. La vérification est gloutonne et sans perte : la sortie acceptée est identique au décodage glouton de la cible.

C’est une avancée majeure pour le speculative decoding sur DGX Spark, car elle élimine le besoin de télécharger un modèle de draft séparé – un gain de mémoire et de bande passante crucial sur une machine à 128 GiB.

Poids réels et configuration

Contrairement à certaines estimations initiales, les poids publiés de V4 Flash 0731 pèsent 167 Go (48 fichiers safetensors, relevé du 2 septembre 2026 sur Hugging Face), et non 83,4 Go. Le tag NGC et les débits MiaAI-Lab sont repris du playbook officiel. Pour la DGX Station GB300 (748 Go de mémoire cohérente dont 252 Go HBM3e à 7,1 To/s), le modèle se sert avec vLLM 0.25 ou plus, conteneurs NVIDIA NGC arm64.

Qwen3.8-27B : le nouveau champion du rapport qualité/performance

Le 26 août 2026, le blog openzeka.com a publié des benchmarks détaillés de Qwen3.8-27B sur DGX Spark. Ce modèle de 27 milliards de paramètres, sorti par Alibaba en août 2026, atteint 48 tok/s sur une seule machine. Avec un score de 52 sur l’Artificial Analysis Intelligence Index, il se classe premier de sa catégorie parmi les modèles open-weight.

Les tests du 20 août 2026 indiquent une génération de 34 à 38 tok/s en conditions réelles, avec un pic à 48 tok/s en configuration optimale. Le modèle supporte le speculative decoding MTP (Multi-Token Prediction) qui apporte un speedup de 1,67× sans perte de qualité, comme le confirme l’annonce du 2 septembre 2026 pour Qwen3.8-Flash-Next (83 à 138 tok/s avec vérification exacte).

Qwen3.8-27B est disponible en plusieurs quantifications, dont NVFP4 (sortie le 26 juin 2026) qui atteint un score MMLU de 0,8446. C’est une option sérieuse pour les développeurs qui veulent un modèle dense performant sans passer par un MoE.

Laguna S 2.1 : le roi du codage local passe à l’épreuve du terrain

Le 21 juillet 2026, Poolside a publié Laguna S 2.1, un modèle open‑weight de 118B paramètres (architecture MoE, 12B actifs par token) spécialisé dans la génération de code. Ce modèle a été conçu pour tenir dans les 128 GiB du DGX Spark grâce à la quantification NVFP4. Les benchmarks Spark Arena montrent qu’il surpasse tous les modèles ouverts précédents sur HumanEval+ et SWE-bench, tout en restant derrière les modèles propriétaires comme GPT-4o.

Les retours terrain (4 août 2026) révèlent des débits réels entre 19 et 50 tokens/s selon la configuration – bien au-delà des premières estimations de 8–10 tokens/s. Cette fourchette dépend du batch size, de l’activation du speculative decoding et de la longueur des séquences. La latence premier token est d’environ 1,5 s. C’est un bond significatif par rapport aux 3–4 tokens/s de Llama 3.3 70B. La communauté a rapidement adopté ce modèle pour des agents de codage locaux, en utilisant vLLM ou le backend natif de Poolside.

L’architecture de la famille Laguna (XS.2, S 2.1, M.1) repose sur un routeur token-choice avec 256 experts et un gating softplus – une conception qui explique en partie l’efficacité du modèle sur du matériel à bande passante limitée comme le GB10.

Parallèlement, Ant Ling‑3.0‑Flash 124B‑A5B (un modèle MoE chinois d’Ant Group) promet d’être encore plus rapide, avec seulement 5B paramètres actifs. Les premiers tests non officiels évoquent un débit de 15–20 tokens/s sur un seul DGX Spark, avec une architecture native hybrid-linear attention (couches KDA et MLA empilées en ratio 5:1). Les benchmarks indépendants manquent encore, mais le modèle bat leur précédent modèle de 1T paramètres sur presque tous les benchmarks.

Nemotron 3 Nano Omni : le multimodal qui tourne sur Spark

En avril 2026, NVIDIA a lancé Nemotron 3 Nano Omni, un modèle de ~30B paramètres (architecture MoE 30B-A3B) qui unifie texte, vision et parole. Conçu pour l’agentic AI, il élimine le besoin de modules de perception séparés et offre un débit jusqu’à 9 fois supérieur aux autres modèles omni open source. Sa taille compacte le rend exécutable sur du matériel grand public haut de gamme et sur le DGX Spark.

La famille Nemotron (Ultra, Super, Nano) a dépassé les 50 millions de téléchargements en un an. Le modèle est disponible sur Hugging Face, OpenRouter et build.nvidia.com en tant que microservice NIM. Pour les développeurs d’agents, c’est une option sérieuse pour l’interprétation d’écrans HD en temps réel, la reconnaissance vocale et la compréhension de documents – le tout en local sur Spark.

Fine-tuning sur DGX Spark : Unsloth et le RL ouvrent de nouvelles possibilités

Le fine-tuning local était jusqu’ici réservé aux clusters professionnels. Grâce à l’intégration d’Unsloth avec le DGX Spark, il est désormais possible d’adapter des modèles de 20B à 70B paramètres directement sur la machine, sans cloud.

La documentation officielle d’Unsloth (mise à jour en juillet 2026) propose un Dockerfile prêt à l’emploi basé sur l’image nvcr.io/nvidia/pytorch:25.09-py3. Ce container inclut Triton compilé depuis la source pour le support Blackwell, xformers optimisé pour l’architecture SM121, et les dépendances nécessaires (transformers 4.56.2, trl 0.22.2, bitsandbytes 0.48.0). Un exemple concret : le fine-tuning de GPT-OSS-20B par apprentissage par renforcement (RL) sur le jeu 2048, avec un notebook Jupyter fourni par Unsloth.

Les étapes clés :

1. Construire l’image Docker : docker build -f Dockerfile -t unsloth-dgx-spark .
2. Lancer le container avec accès GPU : docker run -it --gpus=all --net=host --ipc=host ... unsloth-dgx-spark
3. Télécharger le notebook RL : wget https://raw.githubusercontent.com/unslothai/notebooks/refs/heads/main/nb/gpt_oss_(20B)_Reinforcement_Learning_2048_Game_DGX_Spark.ipynb
4. Lancer Jupyter et exécuter les cellules.

Les premiers retours indiquent qu’un fine-tuning complet de GPT-OSS-20B (20B paramètres) prend environ 4 à 6 heures sur un DGX Spark, avec une consommation mémoire maximale de 110 GiB. C’est un exploit pour une machine de bureau à 100 W.

Le comparatif des frameworks (marktechpost, juillet 2026) place Unsloth en tête pour la vitesse, suivi de près par les solutions basées sur LoRA/QLoRA. La documentation DeepWiki (12 août 2026) détaille les workflows de fine-tuning sur DGX Spark, en mettant l’accent sur l’exploitation du GB10 Grace Blackwell Superchip (sm121) et de ses 128 GB de mémoire unifiée.

Clusters DGX Spark : l’art de l’agrégation

La véritable révolution du DGX Spark se niche dans sa capacité à s’agréger en cluster. Orchestrer plusieurs de ces mini-supercalculateurs permet d’atteindre des performances qui rivalisent avec des serveurs bien plus coûteux.

Réseau et stockage

Le lien inter-nœuds est assuré par un câble direct 200 G QSFP56 (RoCE/NCCL), qui offre une bande passante théorique de 1,25 Go/s pour le lien 10GbE classique, mais le QSFP56 200 Gb/s permet des débits bien supérieurs. Les benchmarks montrent que la configuration réseau (lien direct vs switch) influence significativement les performances : les écarts entre les 41 tok/s d’elsung et les 61 tok/s de llmrequirements.com sur deux nœuds s’expliquent en grande partie par ce facteur.

Kubernetes sur DGX Spark

L’installation du GPU Operator et l’exposition des ressources GPU via Kubernetes sont désormais documentées. Cela permet de gérer des clusters de plusieurs Spark comme un seul pool de calcul, avec orchestration des pods d’inférence et de fine-tuning.

Benchmarks sur 1, 2 et 4 nœuds

Les tests menés par la communauté montrent une scalabilité quasi linéaire pour l’inférence en batch : 2 nœuds doublent le débit agrégé, 4 nœuds le quadruplent. Pour le fine-tuning, la scalabilité est plus limitée en raison de la synchronisation des gradients, mais les résultats restent honorables pour des machines à 100 W.

TensorRT-LLM : le moteur qui fait tourner les LLM à pleine vitesse

TensorRT-LLM, la bibliothèque d’optimisation de NVIDIA, est un autre acteur majeur sur DGX Spark. En septembre 2026, la liste des modèles supportés officiellement inclut Llama, Mistral, DeepSeek, Nemotron et Qwen. Le pipeline de compilation va de Hugging Face à un moteur prêt à l’emploi, avec des gains significatifs en latence et en débit par rapport à une exécution naïve.

Les benchmarks Spark Arena de septembre 2026 montrent que TensorRT-LLM obtient des performances comparables à vLLM pour les modèles denses, et légèrement supérieures pour les MoE grâce à des kernels spécialisés. Le fine-tuning LoRA, QLoRA et full fine-tune en BF16 est également supporté.

Speculative decoding : la ruse qui fait exploser le débit

Le speculative decoding est devenu un outil incontournable sur DGX Spark. Le principe : un petit modèle de draft propose plusieurs tokens, le modèle cible les vérifie en une passe. Sur le GB10, dont la bande passante mémoire de 273 Go/s est le goulot d’étranglement, cette technique permet de multiplier le débit par 2 à 3 selon les modèles.

Les implémentations matures incluent :

• vLLM avec MTP (Multi-Token Prediction) intégré
• TensorRT-LLM avec son support natif
• llama.cpp avec les GGUFs récents
• Uzu (trymirai.com, 3 septembre 2026) qui a publié son implémentation pour Qwen3.6 27B, avec des performances supérieures à MTPLX sur les puces Apple M5

Le drafter DSpark de DeepSeek, fusionné dans le checkpoint, est un cas particulier : il ne nécessite aucun modèle de draft séparé, ce qui économise la mémoire et la bande passante.

Écosystème logiciel : CUDA, containers et outils

NVIDIA a annoncé le 3 septembre 2026 l’extension du support IA local simplifié aux GPU avec 24+ Go de VRAM, avec des optimisations pour les plateformes RTX et DGX. Cela signifie que les outils développés pour le DGX Spark (vLLM, TensorRT-LLM, Unsloth) bénéficient d’un support plus large.

La pile logicielle NVIDIA pour le DGX Spark comprend :

• NGC containers : images PyTorch, TensorFlow, Triton optimisées pour arm64
• CUDA 13.x avec kernels spécifiques au SM121
• NIM microservices pour le déploiement en production
• CUDA sur Windows Arm : arrivée récente qui élargit le public potentiel

Conclusion : une plateforme de production à part entière

En septembre 2026, le DGX Spark n’est plus un prototype ni un jouet. C’est une plateforme de production pour l’IA locale, capable de servir des modèles de 284B en cluster, de fine-tuner des modèles de 20B en quelques heures, et de faire tourner des agents IA multimodaux. L’écosystème open-source (vLLM, TensorRT-LLM, Unsloth, llama.cpp) a massivement investi dans cette architecture, et les performances ne cessent de progresser grâce au speculative decoding, aux formats de quantification NVFP4 et aux kernels optimisés.

Le prix d’entrée (environ 3 999 $ pour la configuration 2 To SSD) reste élevé mais compétitif face à un Mac Studio M5 Ultra ou un AMD Ryzen AI Halo. Et avec l’arrivée de mini-PC concurrents (Acer, Gigabyte) prévue pour début 2027, la guerre de l’IA locale ne fait que commencer.

Sources

• vLLM on the DGX Spark: Architecture, Configuration, and Local AI (1er juin 2026)
• DeepSeek V4 Flash 0731 sur DGX Station et cluster 2× DGX Spark (vLLM) (mis à jour le 2 septembre 2026)
• deepseek-ai/DeepSeek-V4-Flash | vLLM Recipes
• NVIDIA DGX Spark
• 1x Spark: DeepSeek-V4-Flash-0731 @ 1,000 tok/s prefill, 59 tok/s multi-agent serving (1er août 2026)
• Agent Serving on 2× DGX Spark with DeepSeek V4 Flash 0731 (2 août 2026)
• Qwen3.8-27B on DGX Spark — 48 tok/s (26 août 2026)
• Qwen3.8-Flash-Next MTP Is Here: 1.67x Speedup, Zero Quality Loss (2 septembre 2026)
• Speculative decoding in uzu (3 septembre 2026)
• NVIDIA Brings Simplified Local AI Support To NVIDIA GPUs Carrying 24+ GB VRAM (3 septembre 2026)
• Fine-tuning | bidual/awesome-dgx-spark | DeepWiki (12 août 2026)
• emiluzelac/deepseek-v4-flash-0731-on-one-dgx-spark | DeepWiki (12 août 2026)
• Nvidia introduces Nemotron 3 Nano Omni (28 avril 2026)
• DeepSeek V4 Flash 0731 on Dual DGX Spark (2 août 2026)
• DeepSeek-v4-Flash-0731-DSpark-1M-NVFP4-KV-2x-DGX-Spark (31 juillet 2026)
• DGX Spark : 10 réglages IA locale