NVIDIA DGX Spark · 10 September 2026

DGX Spark en septembre 2026 : DeepSeek V4 Flash, Qwen3.8-27B et l’écosystème open-source qui explose

La promesse est séduisante : 128 Go de mémoire unifiée dans une station de bureau à 4 699 $. La réalité est plus subtile : une bande passante de 273 Go/s qui plafonne tout, un GPU Blackwell SM12.1 qui refuse les builds standards de vLLM, et une orchestration qui demande du doigté. Mais un an après le lancement, l’écosystème a mûri : DeepSeek V4 Flash 0731 tourne en cluster avec speculative decoding, Qwen3.8-27B atteint 48 tok/s sur un seul Spark, et le fine-tuning local est passé à l’échelle avec Unsloth et Axolotl. Voici l’état de l’art complet en septembre 2026.

Le paradoxe du GB10 : 128 Go qui promettent tout, une bande passante qui décide tout

Quand NVIDIA a annoncé le DGX Spark en octobre 2025, la fiche technique a fait tourner les têtes : un SoC Grace Blackwell GB10 avec 128 Go de mémoire unifiée CPU/GPU, une architecture GPU SM12.1, un CPU ARM64 (SBSA), et un prix de 4 699 $ qui le positionnait comme la « workstation IA de bureau » par excellence. La promesse implicite : faire tourner des modèles de 70 milliards de paramètres en local, sans cloud, sans latence, sans compromis.

La réalité physique est plus têtue. Cette mémoire unifiée, aussi généreuse soit-elle, est bridée par une bande passante d’environ 273 Go/s — un chiffre qui n’apparaît pas dans la communication NVIDIA mais qui circule dans les analyses techniques indépendantes. Pour un LLM, c’est le facteur qui décide de tout. Le décodage (decode) d’un token est fondamentalement un problème de bande passante : chaque token généré nécessite de relire l’intégralité des poids du modèle. Avec un modèle de 70B en FP8 (~70 Go), une bande passante de 273 Go/s plafonne théoriquement le débit à environ 3,9 tokens/s en mono-utilisateur. En pratique, les quantifications et les architectures MoE changent la donne, mais la contrainte reste là.

Ajoutez à cela l’absence de NVLink-C2C entre le CPU et le GPU — contrairement aux DGX plus gros — et vous obtenez une machine dont les performances dépendent autant du logiciel que du matériel. C’est exactement le point de départ du test exhaustif mené par Dre Dyson et relayé sur le forum développeur NVIDIA : une exploration systématique des combinaisons possibles entre LiteLLM, llama-swap et les trois moteurs d’inférence. Le résultat de ce travail, c’est une architecture de référence qui transforme le Spark en véritable multiplexeur de modèles — à condition de savoir ce que l’on fait.

Écosystème logiciel en septembre 2026 : CUDA 13.4, TensorRT-LLM, Atlas et le speculative decoding

Depuis le lancement, l’écosystème logiciel du DGX Spark a considérablement évolué. La version de CUDA a progressé : les containers NGC officiels de NVIDIA pour DGX Spark tournent désormais sous CUDA 13.4, qui apporte son lot d’optimisations pour l’architecture SM12.1. En parallèle, NVIDIA a publié en juillet 2026 une première preview de CUDA 13.4 pour Windows sur Arm — un signal fort pour la future plateforme RTX Spark, qui partage l’architecture GB10 avec le DGX Spark. Les développeurs peuvent dès maintenant préparer des applications natives Arm64, et SEGA l’a déjà prise en charge.

Côté moteurs d’inférence, le paysage s’est enrichi. TensorRT-LLM est désormais pleinement supporté sur le GB10, avec des kernels optimisés pour la quantification FP8 et MXFP4. vLLM reste le moteur de production par excellence, mais il a été rejoint par Atlas, un moteur écrit en Rust qui promet une « Kernel Hypercompilation » et qui affiche des performances impressionnantes : 82 tokens/s sur Qwen3-Next-80B sur un seul Spark. Son installation se fait en deux minutes, mais il ne supporte pas encore le fine-tuning — un manque que la communauté espère voir comblé.

Le speculative decoding s’est imposé comme la technique phare de 2026. vLLM supporte désormais nativement le DSpark (draft model intégré) pour DeepSeek V4 Flash, et le Multi-Token Prediction (MTP) pour Qwen3.8-Flash-Next. Sur ce dernier, le MTP apporte un speedup de 1,67x (de 83 à 138 tok/s) sans perte de qualité, grâce à une vérification exacte des tokens prédits. Le moteur Uzu a également publié son implémentation de speculative decoding, d’abord pour Qwen3.6 27B, avec un support imminent pour Qwen3.8 27B et Muse Glimmer.

Les modèles open-weight stars du moment sur le Spark sont nombreux. En juillet 2026, Ant Ling-3.0-Flash (124B-A5B) a fait une entrée remarquée : un modèle MoE à attention hybride (KDA et MLA empilés 5:1), avec 5 milliards de paramètres actifs, une fenêtre de contexte native de 256K tokens extensible à 1M, et un débit de 15-20 tokens/s sur un seul DGX Spark. Poolside Laguna S 2.1 (118B) est sortie le 23 juillet 2026, présentée comme la plus puissante modèle open-weight occidentale pour le codage. Et DeepSeek V4 Flash 0731 a redéfini les attentes en matière d’agents privés : avec seulement 13B de paramètres actifs, elle offre des performances agentiques de niveau frontière sur un cluster de deux DGX Spark.

Pourquoi vLLM refuse de tourner « out of the box » sur le GB10

C’est le premier choc pour quiconque débarque sur le DGX Spark avec des habitudes de workstation NVIDIA classique : vLLM, le moteur d’inférence le plus utilisé en production, ne fonctionne pas avec un simple pip install. L’architecture SM12.1 du GPU Blackwell, combinée au CPU ARM64, exige des builds personnalisés.

La communauté a répondu avec deux projets GitHub essentiels. Le premier, spark-vllm-docker (par eugr), fournit des wheels pré-compilés de vLLM et FlashInfer, spécifiquement adaptés au GB10. Le second, spark-vllm-mxfp4-docker (par christopherowen), va plus loin : il propose des forks de vLLM, FlashInfer et CUTLASS qui activent la quantification native MXFP4 — un format 4 bits dont le GB10 tire parti matériellement. C’est ce fork qui permet d’atteindre les performances les plus impressionnantes documentées sur la machine.

La stabilité dépend ensuite d’un écosystème logiciel en évolution rapide. Les containers NGC officiels de NVIDIA pour DGX Spark, les versions de CUDA (12.8 puis 13, désormais 13.4), PyTorch et les nightly builds de vLLM conditionnent tout. Un utilisateur du forum NVIDIA résume bien l’état d’esprit : « It works reliably but it is not fast » — ça fonctionne de manière fiable, mais ce n’est pas rapide. Cette phrase, prononcée à propos du fork MXFP4, dit beaucoup de la maturité actuelle de la plateforme : les fondations sont solides, mais l’optimisation fine reste un travail de spécialiste.

LiteLLM et llama-swap : le duo qui transforme 128 Go en multiplexeur de modèles

L’architecture recommandée par le test de Dre Dyson est simple dans son principe, élégante dans son exécution. Votre application parle à LiteLLM (port 14000), qui agit comme une passerelle API unifiée compatible OpenAI. LiteLLM route ensuite les requêtes par nom de modèle vers llama-swap (port 28080), l’orchestrateur qui décide quel moteur d’inférence doit être réveillé.

Le cœur du système, c’est le mécanisme de hot-swap de llama-swap. Plutôt que de garder tous les modèles chargés en mémoire — impossible avec 128 Go partagés —, llama-swap démarre des conteneurs Docker éphémères à la demande et les évince après un délai d’inactivité. Concrètement, il définit trois tiers de modèles avec des limites de VRAM strictes :

Tier	Plage VRAM	Modèles max simultanés	Comportement
S (Small)	15–32 Go	4	Éviction par ancienneté
M (Medium)	51–64 Go	2	Éviction par ancienneté
L (Large)	83–109 Go	1	`exclusive: true` — évince tout

Le tier L est particulier : charger un modèle de cette taille (typiquement un 70B+ en FP8) évince automatiquement tous les autres modèles. C’est un choix assumé : sur 128 Go de mémoire unifiée, seuls ~108 Go sont utilisables après démarrage du système, et un modèle L mange presque tout l’espace.

La gestion de la fragmentation mémoire est un autre défi. Chaque conteneur Docker réserve sa part de VRAM, et les allers-retours de chargement/déchargement laissent des trous. Le test recommande de configurer soigneusement les variables d’environnement Docker et les limites de chaque tier pour éviter les OOM — un sujet que nous détaillerons plus bas.

vLLM, llama.cpp, Ollama, Atlas : quatre philosophies face à la mémoire unifiée

C’est ici que le comparatif devient intéressant, car chaque moteur incarne une philosophie différente de l’inférence.

vLLM est le moteur de production par excellence. Son continuous batching (PagedAttention) lui permet de traiter 32+ requêtes simultanément en réorganisant dynamiquement les lots. C’est un avantage décisif pour les agents ou les applications multi-utilisateurs. En revanche, vLLM nécessite des builds personnalisés sur le GB10, et il ne supporte que les formats Safetensors (FP8, MXFP4 via le fork de christopherowen). Pas de GGUF ici. Depuis août 2026, vLLM intègre officiellement le support de DeepSeek V4 Flash avec speculative decoding DSpark et MTP, comme le montre la recette officielle sur recipes.vllm.ai.

llama.cpp est le couteau suisse de l’inférence locale. Son batch est statique : une requête à la fois, ce qui le rend idéal en mono-utilisateur mais limité en parallélisme. Sa force réside dans les formats GGUF (Q4_K_M, Q5_K_M, etc.) et sa compatibilité ARM64 native. Sur le Spark, il est le choix naturel pour les tests rapides et les modèles quantifiés. Il supporte également le MTP pour Qwen3.8-Flash-Next, avec un speedup mesuré de 1,67x.

Ollama est le plus simple à installer — un script curl et c’est parti — mais il verrouille la machine sur un modèle à la fois. Son architecture est pensée pour le prototypage, pas pour la production. Les benchmarks tiers sur RTX 4090 montrent qu’Ollama est généralement 5 à 10 % plus lent que llama.cpp en requête unique, et il ne supporte pas le batching continu.

Atlas est le nouveau venu, écrit en Rust. Sa Kernel Hypercompilation promet de réduire la latence d’inférence en compilant les opérations à la volée. Sur Qwen3-Next-80B, il atteint 82 tokens/s sur un seul Spark — un chiffre qui le place au-dessus des autres moteurs en mono-utilisateur. Son installation est simple (deux minutes), mais il ne supporte pas encore le fine-tuning et la gestion multi-nœuds reste embryonnaire.

Critère	vLLM	llama.cpp	Ollama	Atlas
Batching continu	Oui (PagedAttention)	Non (batch statique)	Non (mono-modèle)	Non (mono-utilisateur)
Formats supportés	Safetensors FP8/MXFP4	GGUF (Q4_K_M, Q5_K_M…)	GGUF/Ollama	Safetensors
Installation sur GB10	Builds custom nécessaires	Simple (binaire ARM64)	Très simple (curl)	Très simple (2 min)
Parallélisme	Excellent (32+ requêtes)	Faible (1 requête)	Nul (1 modèle à la fois)	Faible (1 requête)
Fine-tuning	Non	Non	Non	Non
Speculative decoding	Oui (DSpark, MTP)	Oui (MTP)	Non	Non
Cas d’usage	Production, agents	Dev, tests solo	Prototypage	Dev, inférence rapide

Le choix du moteur a un impact direct sur la bande passante mémoire. vLLM, en batchant les requêtes, maximise l’utilisation des 273 Go/s. llama.cpp et Ollama, en traitant une requête à la fois, laissent la bande passante largement sous-utilisée — ce qui est parfaitement acceptable en mono-utilisateur, mais catastrophique si vous voulez servir plusieurs clients.

Les modèles open-weight stars du DGX Spark en septembre 2026

L’écosystème des modèles a explosé depuis le lancement. Voici les modèles qui tournent réellement sur le Spark, avec les chiffres documentés.

DeepSeek V4 Flash 0731 est le modèle du moment pour les agents. Avec 13B de paramètres actifs (sur un total de 284B), il offre des performances agentiques de niveau frontière, 10 fois plus petites que Claude Opus. La version 0731, publiée le 31 juillet 2026, est la release officielle qui surpasse la preview sur tous les benchmarks agentiques : 82,7 sur Terminal Bench 2.1 et 54,4 sur DeepSWE, contre 61,8 et 7,3 pour la preview. Sur un cluster de deux DGX Spark, il atteint environ 30 tok/s par défaut, et un simple changement de configuration permet de remonter à 41 tok/s. En quantification Q8 (UD-Q8_K_XL), il pèse 162 Go — ce qui nécessite deux Spark en cluster. En Q4 (UD-Q4_K_XL), il tient sur un seul Spark. Le checkpoint officiel est en FP4+FP8 mixte (167 Go), avec une variante NVFP4 de NVIDIA qui tourne sur Blackwell avec l’indexeur FP4. Le speculative decoding DSpark intégré permet d’atteindre 1 000 tok/s en prefill et 59 tok/s en serving multi-agents sur un seul Spark, selon les tests de la communauté.

Qwen3.8-27B est la nouvelle star du mono-Spark. Sorti le 13 août 2026, ce modèle dense de 27 milliards de paramètres (56 Go en BF16, contexte natif 262 144 tokens) atteint 48 tok/s sur un DGX Spark en FP8, selon le benchmark d’OpenZeka. Il obtient un score de 52 sur l’Artificial Analysis Intelligence Index, le meilleur de sa catégorie parmi les modèles open-weight. En speculative decoding MTP, Qwen3.8-Flash-Next (la variante MoE) grimpe de 83 à 138 tok/s, soit un speedup de 1,67x sans perte de qualité. C’est le modèle recommandé pour les agents multi-utilisateurs sur une seule machine.

Ant Ling-3.0-Flash — 124B-A5B, sorti le 23 juillet 2026. C’est le modèle qui bat son prédécesseur 1T sur presque tous les benchmarks, avec une architecture hybride KDA/MLA. Sur un seul Spark, il tourne à 15-20 tok/s. Sa fenêtre de contexte native de 256K tokens (extensible à 1M) en fait un excellent candidat pour l’analyse de longs documents.

Poolside Laguna S 2.1 — 118B, sorti le 23 juillet 2026. Présenté comme la première grande ouverture de poids américaine depuis 11 mois, il est optimisé pour le codage agentique. Il tient dans un seul desktop, mais les benchmarks détaillés sur Spark restent à publier.

Qwen3.5-397B-A17B — le monstre de 397 milliards de paramètres. Dre Dyson a passé six mois à le faire tourner sur un cluster de deux DGX Spark, avec des résultats documentés en détail. C’est la preuve que les clusters Spark peuvent dompter les géants.

Fine-tuning : Unsloth, Axolotl et le passage à l’échelle

Le fine-tuning local est devenu l’un des usages majeurs du DGX Spark. Deux frameworks dominent : Unsloth et Axolotl. Unsloth est optimisé pour la vitesse et la simplicité, avec un support natif du GB10 (SM12.1) et des kernels personnalisés qui réduisent l’utilisation mémoire de 60 à 80 % par rapport à HuggingFace Transformers. Il supporte LoRA, QLoRA et le full fine-tune en BF16. Axolotl, plus configurable, est le choix des utilisateurs avancés qui veulent contrôler chaque paramètre de l’entraînement.

Sur un Spark, le fine-tuning d’un modèle 8B en QLoRA prend environ 2 heures sur un jeu de données de 10K exemples, avec une consommation mémoire de 12-15 Go. Le full fine-tune en BF16 d’un 8B nécessite environ 40 Go et peut être réalisé en une nuit. Pour les modèles plus gros (27B, 70B), le QLoRA est la seule option viable sur une seule machine, mais les clusters permettent d’étendre la capacité : avec deux Spark en RDMA, on peut fine-tuner un 27B en full BF16.

La communauté a également développé des recettes pour le fine-tuning distribué. Le projet bidual/awesome-dgx-spark sur GitHub documente les configurations testées, les pièges à éviter (fragmentation mémoire, allocation CUDA, etc.) et les benchmarks de référence. Unsloth et Axolotl supportent tous deux le multi-nœuds via NCCL, mais la configuration reste délicate sur GB10.

Clusters DGX Spark : de 2 à 100 nœuds, le passage à l’échelle

Le DGX Spark a été conçu pour fonctionner en cluster. NVIDIA a officialisé le support de configurations allant de 2 à 100 nœuds, avec une interconnexion qui a évolué. La fiche technique initiale annonçait 100 GbE, mais les tests réels montrent que le lien 10GbE (1,25 Go/s théorique) est le goulot d’étranglement principal. Les clusters performants utilisent désormais le RDMA (Remote Direct Memory Access) pour réduire la latence et améliorer le débit.

L’étude de cas de QDNA (publiée le 2 septembre 2026) documente un cluster de trois DGX Spark : deux nœuds reliés en RDMA pour servir DeepSeek V4 Flash 0731 (284B, 167 Go en FP4+FP8) et un troisième nœud seul pour Qwen3.8-27B. La plateforme utilise LiteLLM comme passerelle et un routeur sémantique pour diriger chaque requête vers le modèle le plus adapté. Les débits mesurés : 30-41 tok/s sur le cluster pour DeepSeek, 48 tok/s sur le mono-Spark pour Qwen3.8.

Pour les clusters plus grands, NVIDIA propose des recettes éprouvées. Le speculative decoding distribué (DSpark) permet d’atteindre des débits impressionnants : 1 000 tok/s en prefill et 59 tok/s en serving multi-agents sur un seul Spark avec DeepSeek V4 Flash. En cluster de 100 nœuds, les benchmarks communautaires montrent qu’il est possible de servir des modèles de 400B+ avec une latence acceptable pour des agents.

La gestion d’entreprise passe par Progress Chef Enterprise Management, qui permet de déployer et de surveiller des clusters Spark à grande échelle. Les fonctionnalités incluent la gestion des conteneurs, la supervision des ressources et l’orchestration des mises à jour.

Le futur : RTX Spark, Acer et Gigabyte, et la concurrence d’AMD

Le DGX Spark n’est plus seul. NVIDIA prépare une plateforme RTX Spark basée sur la même architecture GB10, avec un support Windows sur Arm (CUDA 13.4 preview). Acer et Gigabyte ont annoncé des mini-PC basés sur GB10, attendus pour début 2027, avec un prix 500 à 1 000 $ inférieur au DGX Spark. Ces machines devraient démocratiser encore plus l’accès à l’IA locale.

Côté concurrence, l’AMD Ryzen AI Halo (Strix Halo) offre une alternative crédible : 128 Go LPDDR5X, 256 Go/s de bande passante, 40 CUs RDNA 3.5, pour 3 999 $. Sur gpt-oss-120B, il atteint 34 tok/s, contre 39 tok/s pour le DGX Spark sur le même modèle. Le Ryzen AI Max+ PRO 495, attendu pour Q3 2026, supportera jusqu’à 192 Go de mémoire et des modèles de 300 milliards de paramètres. La bataille des workstations IA ne fait que commencer.

Conclusion : une plateforme qui a tenu ses promesses, à condition de savoir la dompter

Un an après son lancement, le DGX Spark a tenu ses promesses, mais pas de la manière attendue. Ce n’est pas une machine plug-and-play : elle exige des builds personnalisés, une orchestration fine et une compréhension profonde des compromis entre bande passante, mémoire et moteur d’inférence. Mais pour ceux qui acceptent cette complexité, elle offre une souveraineté numérique inégalée : des modèles de 284B tournent en local, le fine-tuning est passé à l’échelle, et les clusters permettent de dompter les géants open-source.

L’écosystème logiciel a mûri à une vitesse impressionnante : CUDA 13.4, TensorRT-LLM, Atlas, le speculative decoding DSpark et MTP, et des modèles toujours plus performants comme Qwen3.8-27B et DeepSeek V4 Flash 0731. La communauté a transformé les premiers tâtonnements en recettes éprouvées, documentées sur GitHub et les forums NVIDIA. Le DGX Spark n’est plus une promesse : c’est une réalité, exigeante mais gratifiante.

Sources

Article recherché et rédigé automatiquement · Magazine Electrosens

📬 Restez à la pointe

Recevez chaque semaine les nouveautés de ce magazine par email.

💬 Une remarque, une correction ?

Aidez-nous à améliorer cet article. Nous prenons en compte vos retours.

DGX Spark : LiteLLM, llama-swap et les trois moteurs d’inférence — le match qui décide vraiment de votre stack LLM