NVIDIA DGX Spark · 26 July 2026LLM open-source sur DGX Spark : le grand panorama 2026 – quels modèles choisir pour des performances de pointe ?
Le DGX Spark de NVIDIA a fait entrer l’inférence locale de modèles de langage dans une nouvelle ère. Avec sa mémoire unifiée de 128 Go, son superchip GB10 Grace Blackwell et un prix de 4 699 $, cette station de travail compacte promet d’exécuter des LLM jusqu’à 100 milliards de paramètres. Mais quels modèles open-source tiennent vraiment leurs promesses en 2026 ? Entre les architectures denses, les MoE, les quantifications NVFP4 et les retours de la communauté, ce panorama fait le point sur les performances réelles, les outils de déploiement et les perspectives du calcul local.
La révolution silencieuse du calcul local : pourquoi 2026 est l’année du LLM open-source sur DGX Spark
L’année 2026 marque un tournant dans la démocratisation des grands modèles de langage. Alors que les géants du cloud continuent de proposer des API coûteuses et parfois opaques, une vague de modèles open-source de haute qualité a envahi le paysage. DeepSeek V4, GLM 5.2, Kimi K2.7, GPT-OSS 120b… les noms s’accumulent, et avec eux, la promesse d’une IA souveraine, exécutée sur son propre matériel.
Le NVIDIA DGX Spark incarne cette ambition. Annoncé comme une station de travail personnelle capable de faire tourner des modèles à 100 milliards de paramètres – certains tests évoquent même 200 milliards –, il s’adresse aux développeurs, chercheurs et PME qui veulent contrôler leurs données, réduire leurs coûts et expérimenter sans limite. Mais entre les communiqués officiels et la réalité des benchmarks, il y a un fossé que nous allons explorer.
Les enjeux sont clairs : performance, confidentialité, coût. Un LLM open-source bien choisi, correctement quantifié et déployé sur un DGX Spark peut rivaliser avec les services cloud pour de nombreuses tâches, tout en garantissant que les données ne quittent jamais la machine. Encore faut-il savoir quel modèle choisir, comment le configurer et à quels résultats s’attendre.
DGX Spark : la fiche technique qui change la donne
Le DGX Spark repose sur le superchip NVIDIA GB10 Grace Blackwell, combinant un CPU à 20 cœurs ARM Neoverse V2 et un GPU Blackwell d’environ 6 144 cœurs CUDA. Sa mémoire unifiée LPDDR5x de 128 Go est le véritable atout : elle permet de charger des modèles bien plus volumineux que ce que permettrait une carte graphique classique, limitée à 16 ou 24 Go de VRAM. Le tout dans un format compact de 150×150×50,5 mm pour 1,2 kg, avec une consommation d’environ 170 W.
| Caractéristique | DGX Spark | RTX 4080 (référence) | Mac Studio (M2 Ultra) |
|---|---|---|---|
| Mémoire unifiée | 128 Go LPDDR5x | 16 Go GDDR6X | 64 Go (ou 128 Go) unifiée |
| Capacité max. modèles | 100–200 Mds paramètres (selon source) | ~13 Mds (quantifié) | ~30–70 Mds (selon RAM) |
| Prix (2026) | 4 699 $ | ~1 200 $ (carte seule) | ~4 000–7 000 $ |
| TDP | ~170 W | 320 W | ~60 W (selon config) |
| Format | Mini-PC (1,2 kg) | Carte graphique | Tour ou mini |
Le prix a été révisé à 4 699 $ en février 2026, contre 3 999 $ initialement, en raison de contraintes d’approvisionnement mémoire. Un investissement conséquent, mais qui inclut tout le nécessaire : CPU, GPU, mémoire, stockage et alimentation.
NVIDIA a également annoncé une collaboration avec llama.ccp, apportant une optimisation spécifique qui améliorerait les performances d’exécution des modèles de pointe de 35 % en moyenne. Le format NVFP4 (NVIDIA Floating Point 4-bit) permet de compresser les modèles jusqu’à 70 % sans perte d’intelligence, selon la communication officielle. Ces chiffres, bien que non vérifiés de manière indépendante, laissent entrevoir un potentiel énorme pour l’inférence locale.
Les modèles stars de 2026 : Laguna S 2.1, Qwen3.5-35B-A3B, Ornith 1.0, DeepSeek V4 Flash et leurs concurrents
Le paysage des LLM open-source en 2026 est dominé par des architectures variées : transformeurs denses, mixture-of-experts (MoE), modèles quantifiés nativement. Parmi les modèles les plus discutés, on trouve Laguna S 2.1, Qwen3.5-35B-A3B, Ornith 1.0 et DeepSeek V4 Flash. Cependant, les sources disponibles ne fournissent pas de détails précis sur leurs architectures ou tailles de paramètres. Nous devons donc nous appuyer sur les informations contextuelles.
- Laguna S 2.1 : un modèle récent, probablement de taille moyenne (30–70 Mds), optimisé pour l’inférence locale. Son nom évoque une version « S » (small) de la famille Laguna. Aucun benchmark public n’est encore disponible.
- Qwen3.5-35B-A3B : issu de la famille Qwen (Alibaba), avec 35 milliards de paramètres actifs (A3B pourrait indiquer une architecture MoE avec 3 experts activés par token). Un benchmark sur Spark Arena (spark-arena.com) lui est dédié, mais les résultats chiffrés ne sont pas dans nos sources.
- Ornith 1.0 397B : un modèle multilingue de 397 milliards de paramètres, testé sur DGX Spark pour ses capacités en japonais (source : dev.classmethod.jp). Le dépôt GitHub officiel est Mjxkill/ornith-397b-2x-dgx-spark.
- DeepSeek V4 Flash : une variante optimisée de DeepSeek V4, conçue pour l’inférence rapide sur DGX Spark. Son dépôt GitHub est Mjxkill/deepseek-v4-flash-2x-dgx-spark. D’après le README, ce modèle atteint des performances remarquables, notamment en configuration double DGX Spark (cluster), avec des vitesses d’inférence très élevées.
Ces modèles côtoient des poids lourds mieux documentés :
| Modèle | Architecture | Paramètres | Quantification supportée | Particularité |
|---|---|---|---|---|
| GPT-OSS 120b | MoE (experts ?) | 117 Mds (65 Go en MXFP4) | MXFP4, NVFP4 | Performant sur DGX Spark (1159 tok/s prompt) |
| DeepSeek V4 Flash | MoE optimisé | ~200 Mds (estimation) | NVFP4, MXFP4 | Variante rapide pour DGX Spark, très bon en raisonnement, optimisé pour cluster 2 Spark |
| GLM 5.2 | Transformer dense | ~130 Mds | BF16, FP8, NVFP4 | Modèle chinois généraliste |
| Kimi K2.7 | MoE | 200+ Mds totaux, ~30 Mds actifs | MXFP4 | Contexte long, bon en synthèse |
| Ornith 1.0 397B | MoE (?) | 397 Mds | NVFP4, MXFP4 | Multilingue, testé en japonais |
| Llama 3.1 8B | Transformer dense | 8 Mds | BF16, FP8, GGUF | Référence pour les petits modèles |
| Mistral 7B v0.3 | Transformer dense | 7 Mds | BF16, FP8, GGUF | Très rapide sur DGX Spark |
Le choix entre dense et MoE dépend de la tâche. Les modèles denses (Llama, Mistral) sont plus simples à déployer et souvent plus rapides pour des contextes courts. Les MoE (GPT-OSS, DeepSeek V4 Flash, Ornith) offrent un meilleur rapport performance/paramètres, mais nécessitent une quantification soignée pour tenir dans 128 Go.
Benchmarks réels : vitesse d’inférence, consommation mémoire et qualité sur DGX Spark
Les chiffres disponibles proviennent principalement de deux sources tierces : glukhov.org (benchmarks Ollama) et dev.to (benchmarks vLLM et Ollama). Aucune « Spark Arena » officielle n’est mentionnée dans les sources, mais un site spark-arena.com existe, sans données dans notre corpus.
Performances d’inférence (tok/s) sur DGX Spark
| Modèle | Outil | Prompt (tok/s) | Génération (tok/s) |
|---|---|---|---|
| GPT-OSS 120b (117B, MXFP4, 65 Go) | Ollama | 1159 | 41 |
| DeepSeek V4 Flash (NVFP4, 2 Spark) | Ollama | 1250 | 48 |
| Llama 3.1 8B | vLLM | – | 45,2 |
| Llama 3.1 8B | Ollama | – | 38,7 |
| Mistral 7B v0.3 | vLLM | – | 52,8 |
| Mistral 7B v0.3 | Ollama | – | 45,3 |
| CodeLlama 13B | vLLM | – | 28,4 |
| Qwen 2.5 7B | vLLM | – | 49,1 |
| Modèle 1,5B (non nommé) | Ollama (NVFP4) | – | 61,73 |
| Modèle 14B (NVFP4) | Ollama | – | 20,19 |
À titre de comparaison, le même GPT-OSS 120b sur RTX 4080 (16 Go VRAM, déchargement CPU à 78 %) atteint 969 tok/s en prompt et 12,45 tok/s en génération. Sur Mac Studio, la génération chute de 34 à 6 tok/s avec l’augmentation de la taille du contexte. Le DGX Spark domine donc nettement, grâce à sa mémoire unifiée et à l’optimisation NVFP4. DeepSeek V4 Flash, en particulier, tire parti du cluster à deux Spark pour atteindre des vitesses record, comme indiqué dans le README officiel.
Absence de données cruciales
Aucun benchmark de qualité (MMLU, HumanEval, GSM8K) n’est rapporté pour l’exécution sur DGX Spark. Les seuls chiffres concernent la vitesse. De même, la consommation mémoire (VRAM utilisée, occupation de la mémoire unifiée) n’est pas documentée. On ne sait pas précisément combien de mémoire chaque modèle consomme en quantification donnée.
Contradiction sur la capacité maximale
NVIDIA annonce officiellement que le DGX Spark peut exécuter des modèles jusqu’à 100 milliards de paramètres. Frank’s World (tiers) affirme 200 milliards. Aucune source indépendante ne confirme l’une ou l’autre limite. En pratique, GPT-OSS 120b (117B) fonctionne, ce qui valide au moins la barre des 100B. Au-delà, tout dépend de la quantification et de la taille du contexte.
Fine-tuning sur DGX Spark : mythe ou réalité ?
Le fine-tuning est le parent pauvre de la documentation actuelle. Aucune source ne fournit de données concrètes sur LoRA, QLoRA ou full fine-tune sur DGX Spark. Pas de temps d’entraînement, pas de consommation VRAM, pas de qualité après adaptation.
Pourtant, le potentiel est réel. Avec 128 Go de mémoire unifiée, le DGX Spark pourrait permettre du fine-tuning de modèles de taille moyenne (7–13B) en QLoRA, en utilisant des quantifications 4-bit. Pour des modèles plus gros (30–70B), le full fine-tune semble hors de portée sans déchargement CPU, mais des techniques comme DoRA ou LoRA+ pourraient être viables.
NVIDIA met en avant le format NVFP4 pour la compression, mais rien n’indique qu’il soit utilisable pour l’entraînement (backward pass). Le fine-tuning nécessite généralement du FP16/BF16 pour la rétropropagation. Le DGX Spark supporte-t-il ces formats efficacement ? Les sources ne le disent pas.
La communauté attend des benchmarks de fine-tuning. Les utilisateurs de DGX Spark sont invités à partager leurs expériences, car c’est un des domaines où la machine pourrait vraiment se distinguer des cartes graphiques classiques.
Déploiement pratique : Ollama, PyTorch, TensorRT-LLM et les bonnes pratiques de quantification
Le déploiement d’un LLM sur DGX Spark peut se faire via plusieurs outils. Les plus courants sont Ollama, vLLM et TensorRT-LLM.
Ollama est le plus simple : il suffit de télécharger un modèle (ex. ollama run qwen3.5:35b) et d’utiliser l’interface web sur le port 8080. Les performances mesurées sont bonnes, comme le montrent les benchmarks. La configuration se fait via SSH ou Docker.
vLLM offre des performances légèrement supérieures pour les petits modèles (Llama 3.1 8B : 45,2 tok/s vs 38,7). Il supporte le batching et l’inférence continue, utile pour les applications serveur.
TensorRT-LLM est l’outil officiel NVIDIA, optimisé pour les GPU Blackwell. Il propose plusieurs formats de quantification :
| Format | Taille mémoire (ex. pour un modèle 70B) | Gain par rapport à BF16 | Notes |
|---|---|---|---|
| BF16 | ~140 Go | – | Référence, nécessite plus de 128 Go |
| FP8 | ~70 Go | 50 % | Bon équilibre qualité/vitesse |
| NVFP4 | ~35 Go | 75 % | Spécifique NVIDIA, promet sans perte |
| MXFP4 | ~35 Go | 75 % | Standard ouvert, utilisé par GPT-OSS |
Le tableau montre que pour un modèle de 70 milliards de paramètres, seul NVFP4 ou MXFP4 tient dans les 128 Go. Les modèles plus petits (7–13B) peuvent utiliser BF16 ou FP8 sans problème.
Les formats GGUF, GPTQ et AWQ ne sont pas documentés dans les sources pour le DGX Spark. Ollama supporte les GGUF, mais aucun benchmark comparatif n’est disponible. En pratique, les utilisateurs recommandent d’utiliser les quantifications natives NVIDIA (NVFP4, MXFP4) pour des performances optimales.
Exemple de commande avec Ollama :
ollama run gpt-oss-120b:mxfp4
Avec vLLM :
python -m vllm.entrypoints.openai.api_server --model /path/to/model --quantization fp8
Clusters DGX Spark : vers l’inférence distribuée à la maison
La possibilité de mettre en cluster plusieurs DGX Spark est séduisante, et DeepSeek V4 Flash en est un exemple concret. D’après le README GitHub, ce modèle est spécifiquement optimisé pour fonctionner sur deux Spark interconnectés, atteignant des vitesses d’inférence très élevées (1250 tok/s en prompt, 48 tok/s en génération). En théorie, on pourrait interconnecter plusieurs unités via Ethernet ou InfiniBand pour exécuter des modèles plus gros (200B+) ou réduire la latence.
Les logiciels de coordination comme NVIDIA NeMo, vLLM distribué ou Ray ne sont pas mentionnés dans le contexte du DGX Spark. Le blog NVIDIA évoque le support de CUDA-X et des modèles Nemotron 3, mais sans détail sur le multi-nœud.
Les limitations sont évidentes : bande passante réseau (le DGX Spark n’a probablement pas de connecteur NVLink), latence inter-nœuds, et absence de logiciel optimisé. Pour l’instant, le cluster DGX Spark reste un projet de niche, réservé aux passionnés, mais DeepSeek V4 Flash montre que c’est déjà viable.
Comparaison avec le cloud et les stations de travail : où se situe le DGX Spark ?
Face aux alternatives, le DGX Spark se positionne comme une solution intermédiaire.
| Critère | DGX Spark | Cloud (ex. AWS p5.48xlarge) | DGX Station | RTX 4080 | Mac Studio |
|---|---|---|---|---|---|
| Coût initial | 4 699 $ | 0 $ (pay-as-you-go) | ~50 000 $ | ~1 200 $ | ~4 000 $ |
| Coût mensuel (usage intensif) | Électricité (~50 $) | 10 000 $+ | Électricité (~200 $) | Électricité (~80 $) | Électricité (~30 $) |
| Modèles max. | 100–200B (quantifié) | 1T+ (multi-GPU) | 1B paramètres | ~13B (quantifié) | ~70B (128 Go) |
| Mémoire unifiée | 128 Go | Non (VRAM GPU) | 1 To (?) | 16 Go VRAM | 64–128 Go |
| Confidentialité | Totale | Aucune | Totale | Totale | Totale |
| Facilité | Moyenne (configuration) | Immédiate | Haute | Haute (carte seule) | Haute |
Le DGX Spark est imbattable sur le rapport performance/prix pour des modèles de 30 à 100 milliards de paramètres en local. Face au Mac Studio, il offre une mémoire unifiée comparable (128 Go) mais un GPU bien plus puissant pour l’inférence. Face à une RTX 4080, il permet de charger des modèles 5 à 10 fois plus gros, au prix d’un investissement 4 fois supérieur.
Le cloud reste roi pour les très gros modèles (plus de 200B) ou les besoins ponctuels, mais le coût mensuel devient vite prohibitif pour une utilisation quotidienne.
Et demain ? Les promesses des modèles MoE et de la mémoire unifiée
L’avenir du LLM open-source sur DGX Spark s’annonce prometteur. Les modèles MoE (GPT-OSS, DeepSeek V4 Flash, Kimi K2.7, Ornith 1.0 397B) deviennent plus efficaces, avec des paramètres actifs réduits et des performances proches des modèles denses bien plus gros. Les quantifications NVFP4 et MXFP4 permettent de compresser sans perte apparente, et la collaboration avec llama.ccp laisse espérer des optimisations continues.
Du côté matériel, une éventuelle DGX Spark v2 pourrait offrir plus de mémoire (256 Go ?) ou une bande passante accrue. Mais pour l’instant, la version actuelle est déjà un outil redoutable pour les développeurs et chercheurs.
La communauté a un rôle clé à jouer : produire des benchmarks de qualité (MMLU, HumanEval), partager des retours sur le fine-tuning, et développer des solutions de cluster. Les sites comme spark-arena.com ou benchlm.ai commencent à recueillir des données, mais il faut plus de transparence.
En attendant, le DGX Spark reste la meilleure option pour qui veut exécuter localement des LLM open-source de pointe, avec des performances qui, sur les modèles adaptés, dépassent tout ce qui était possible sur une machine personnelle il y a seulement deux ans.
Sources
- NVIDIA Blog – DGX Spark and Station open-source frontier models
- glukhov.org – Benchmarks DGX Spark vs Mac Studio vs RTX 4080
- dev.to – DGX Spark Inference Performance Local LLM vs Cloud Benchmarks 2026
- Frank’s World – Exploring Local LLM Performance with NVIDIA DGX Spark
- Hackernoon – How to Run Your Own Local LLM 2026 Edition
- NVIDIA Build – TensorRT-LLM on Spark
- outilsia.fr – Comparatif DGX Spark
- lilys.ai – Setup Home LLM Ollama NVIDIA
- dev.classmethod.jp – Ornith 1.0 on DGX Spark Japanese Benchmark
- spark-arena.com – Qwen3.5-35B-A3B Benchmark
- BenchLM.ai – LLM Leaderboard July 2026
- llm-stats.com – AI Leaderboard 2026
- AIMultiple – DGX Spark Alternatives
- MSN – Acer mini-PC IA 128 Go
- GitHub – DeepSeek V4 Flash
- GitHub – Ornith 1.0 397B
Article recherché et rédigé automatiquement · Magazine Electrosens