---

Le DGX Spark : un supercalculateur de bureau taillé pour les LLMs

Quand NVIDIA dévoile le DGX Spark en mars 2025, l’industrie retient son souffle. Ce mini-PC, à peine plus gros qu’un Mac mini, embarque la superpuce GB10 Grace Blackwell : un GPU Blackwell couplé à un CPU Arm à 20 cœurs, le tout relié à 128 Go de mémoire unifiée LPDDR5x avec une bande passante de 273 Go/s. NVIDIA annonce une performance crête de 1 petaFLOP en FP4 – de quoi faire pâlir bien des stations de travail équipées de GPU discrets.

Le positionnement est clair : offrir une capacité d’inférence locale pour des modèles de taille moyenne (7 à 13 milliards de paramètres) sans dépendre du cloud. L’architecture unifiée CPU-GPU supprime les goulots d’étranglement du bus PCIe, tandis que les 128 Go de mémoire permettent de charger des modèles jusqu’à 200 milliards de paramètres en inférence (selon SysKB, source non officielle) et de fine-tuner jusqu’à 70 milliards en local.

Contrairement à un PC équipé d’une RTX 5090 (32 Go VRAM) ou d’un Mac Studio avec 192 Go unifiés, le DGX Spark frappe par son équilibre : une mémoire unifiée généreuse, un GPU Blackwell de 5e génération avec cœurs Tensor dédiés, et un écosystème logiciel NVIDIA complet (CUDA, TensorRT, Triton). Mais ce matériel de pointe ne délivre sa pleine puissance qu’avec des logiciels optimisés. C’est là que TensorRT-LLM entre en scène.

Depuis juin 2026, une mise à jour logicielle majeure (NVFP4, clustering 4 nœuds, NemoClaw) a promis un gain de performance de 2,6× – nous y reviendrons. En parallèle, la communauté a vu débarquer une vague de modèles open-weight taillés pour le GB10 : DeepSeek V4 Flash-0731 (284B, 13B actifs), Ant Ling-3.0-Flash (124B-A5B), Poolside Laguna S 2.1 (118B) – tous capables de tourner sur une ou deux Spark. Et le 3 septembre 2026, NVIDIA a officialisé PAIR (Personal AI Runtime), un outil d’orchestration pour l’IA locale, ainsi qu’une gamme de PC Spark pré-construits attendus pour octobre – signe que l’écosystème s’étoffe à grande vitesse.

---

TensorRT-LLM : le moteur d’inférence qui change la donne

TensorRT-LLM est une bibliothèque open-source publiée par NVIDIA sous licence Apache 2.0 pour optimiser l’inférence des grands modèles de langage sur ses GPU. Son principe : compiler le graphe de calcul du modèle en une série de kernels CUDA hautement optimisés, fusionner les couches redondantes, appliquer des quantifications (FP8, INT8, INT4, NVFP4, MXFP4) et gérer efficacement le cache KV (Key-Value) pour l’inférence séquentielle. Contrairement à vLLM ou llama.cpp qui chargent le modèle tel quel, TensorRT-LLM ajoute une étape de « build » : on compile le modèle une fois pour son GPU précis, et le moteur obtenu tourne plus vite – mais il doit être recompilé en cas de changement de génération de GPU ou de modèle.

Sur le DGX Spark, TensorRT-LLM exploite directement les cœurs Tensor de 5e génération du GPU Blackwell, capables d’exécuter des opérations en FP8, NVFP4 et MXFP4 avec un débit inégalé. La mémoire unifiée LPDDR5x est utilisée de manière transparente, sans copie explicite entre CPU et GPU – un avantage décisif pour les modèles dont les poids dépassent la mémoire vidéo classique.

NVIDIA affiche des gains jusqu’à 8 fois plus rapides que l’inférence sur CPU (source Unite.ai, citant NVIDIA). Mais sur un GPU Blackwell, l’écart avec une inférence native PyTorch peut être tout aussi spectaculaire : fusion de couches, quantification en FP8, et kernels spécifiques à chaque architecture de modèle (Llama, Qwen, DeepSeek…) permettent de diviser la latence par 2 à 4 selon les configurations. Une mise à jour annoncée au CES 2026 évoque même des performances multipliées par 2,5 et une vitesse vidéo 8× supérieure pour les charges de travail d’inférence (source StorageReview).

L’intégration avec Triton Inference Server ajoute une couche de serving professionnelle : gestion des requêtes concurrentes, streaming, métriques, et API compatible OpenAI. Le backend TensorRT-LLM pour Triton permet de déployer un moteur compilé en quelques commandes. C’est d’ailleurs la vocation première de TensorRT-LLM : le service en production dans les datacenters et l’entreprise, pas le chat de bureau mono-utilisateur – même si sur le Spark, il excelle aussi en mono-utilisateur grâce à la faible latence.

En septembre 2026, la version stable de TensorRT-LLM pour DGX Spark est la 1.3.0rc13 (disponible via l’image Docker nvcr.io/nvidia/tensorrt-llm/release:1.3.0rc13). Cette version supporte officiellement plus de 20 modèles dans diverses quantifications (voir tableau ci-dessous). Le README officiel des playbooks détaille l’installation et l’utilisation, tandis que le DeepWiki documente les architectures single-node et multi-node.

---

Modèles supportés officiellement : la liste complète (septembre 2026)

NVIDIA a publié une liste officielle des modèles compatibles avec TensorRT-LLM sur DGX Spark, disponible sur build.nvidia.com/spark/trt-llm. Tous les modèles listés sont prêts à l’emploi, téléchargeables depuis Hugging Face.

Modèle	Quantification	Support	Handle Hugging Face
Nemotron-3-Nano-Omni-30B-A3B-Reasoning	BF16	✅	nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16
Nemotron-3-Nano-Omni-30B-A3B-Reasoning	FP8	✅	nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-FP8
Nemotron-3-Nano-Omni-30B-A3B-Reasoning	NVFP4	✅	nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-NVFP4
Nemotron-3-Super-120B	NVFP4	✅	nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4
GPT-OSS-20B	MXFP4	✅	openai/gpt-oss-20b
GPT-OSS-120B	MXFP4	✅	openai/gpt-oss-120b
Llama-3.1-8B-Instruct	FP8	✅	nvidia/Llama-3.1-8B-Instruct-FP8
Llama-3.1-8B-Instruct	NVFP4	✅	nvidia/Llama-3.1-8B-Instruct-FP4
Llama-3.3-70B-Instruct	NVFP4	✅	nvidia/Llama-3.3-70B-Instruct-FP4
Qwen3-8B	FP8	✅	nvidia/Qwen3-8B-FP8
Qwen3-8B	NVFP4	✅	nvidia/Qwen3-8B-FP4
Qwen3-14B	FP8	✅	nvidia/Qwen3-14B-FP8
Qwen3-14B	NVFP4	✅	nvidia/Qwen3-14B-FP4
Qwen3-32B	NVFP4	✅	nvidia/Qwen3-32B-FP4
Phi-4-multimodal-instruct	FP8	✅	nvidia/Phi-4-multimodal-instruct-FP8
Phi-4-multimodal-instruct	NVFP4	✅	nvidia/Phi-4-multimodal-instruct-FP4
Phi-4-reasoning-plus	FP8	✅	nvidia/Phi-4-reasoning-plus-FP8
Phi-4-reasoning-plus	NVFP4	✅	nvidia/Phi-4-reasoning-plus-FP4
Qwen3-30B-A3B	NVFP4	✅	(handle non listé)

Cette liste inclut des modèles récents comme Nemotron-3-Super-120B (120 milliards de paramètres, architecture MoE) et Qwen3-32B en NVFP4. Notez que les modèles propriétaires comme Muse Spark (Meta) ne sont pas supportés – et ne le seront probablement jamais, Meta ayant fait le choix du propriétaire.

Au-delà de la liste officielle, la communauté fait tourner sur DGX Spark des modèles très récents via d’autres moteurs (llama.cpp, vLLM) ou via des builds TensorRT-LLM non officiels :

• DeepSeek V4 Flash-0731 (284B totaux, 13B actifs, fenêtre 1M tokens) : publié le 31 juillet 2026 sous licence MIT, il tourne sur une ou deux Spark. Sur une seule Spark avec la config par défaut, les retours sur les forums NVIDIA indiquent ~30 tok/s ; un changement de config permet de remonter l’acceptance. En Q8 (UD-Q8_K_XL, 162 Go), il tient dans 128 Go avec un léger dépassement – d’où l’intérêt du dual-Spark. Un utilisateur a même rapporté 1 000 tok/s en prefill et 59 tok/s en serving multi-agents sur une seule Spark avec un backend CUDA maison (source : forums NVIDIA).
• Ant Ling-3.0-Flash 124B-A5B (MoE, 5B actifs) : sorti le 23 juillet 2026, ce modèle d’Ant Group bat leur précédent modèle 1T sur presque tous les benchmarks. Débit estimé sur une Spark : 15-20 tok/s (source : forums NVIDIA).
• Poolside Laguna S 2.1 (118B, MoE, 8,5B actifs) : premier grand open-weight américain depuis 11 mois, sorti le 23 juillet 2026. Débits réels entre 19 et 50 tok/s selon la configuration (source : Habr, ai-stat.ru).

Ces modèles ne figurent pas encore dans la liste officielle TensorRT-LLM, mais ils tournent via llama.cpp (GGUF) ou via des adaptations communautaires. Le guide complet du magazine recense les meilleures pratiques.

---

Pipeline de compilation : de Hugging Face à un moteur prêt à l’emploi

Transformer un modèle open-source en moteur TensorRT-LLM sur DGX Spark suit un pipeline bien rodé, documenté par NVIDIA dans les dgx-spark-playbooks. Voici les étapes clés.

1. Téléchargement du modèle depuis Hugging Face

Les modèles sont récupérés via hf download. Il est recommandé d’utiliser les handles NVIDIA pré-quantifiés (ex. nvidia/Llama-3.1-8B-Instruct-FP8). Un token Hugging Face est nécessaire (echo $HF_TOKEN).

2. Choix de la quantification

TensorRT-LLM supporte plusieurs précisions. Sur DGX Spark, les options les plus pertinentes sont :

Précision	Bande passante mémoire	Perte de qualité (estimée)	Cas d’usage
FP16/BF16	2 octets par paramètre	Aucune	Référence, modèles critiques
FP8	1 octet	Négligeable (sauf maths sensibles)	Bon équilibre performance/qualité
NVFP4	0,5 octet	Légère (compensée par l’architecture)	Modèles volumineux (>30B)
MXFP4	0,5 octet	Similaire à NVFP4	Modèles GPT-OSS optimisés

Le format NVFP4 (NVIDIA Variable-Precision FP4) a été introduit en juin 2026 et promet une qualité proche du FP8 avec la moitié de la bande passante. Les benchmarks Spark Arena montrent qu’il est particulièrement efficace sur les modèles MoE comme Nemotron-3-Super-120B. Combiné à la sparsity, il permet de faire tourner des modèles de 120B sur un bureau.

3. Construction du moteur avec trtllm-build (ou utilisation directe de trtllm-serve)

Pour les modèles pré-quantifiés, NVIDIA recommande désormais d’utiliser directement trtllm-serve sans compilation manuelle. Exemple :

docker run --rm --gpus all \
  -v /path/to/models:/models \
  nvcr.io/nvidia/tensorrt-llm/release:1.3.0rc13 \
  trtllm-serve --model nvidia/Llama-3.1-8B-Instruct-FP8

Cette commande télécharge automatiquement le modèle, le compile à la volée et expose une API OpenAI-compatible sur le port 8355 (LLM) ou 8356 (VLM).

Pour les utilisateurs avancés, trtllm-build reste disponible pour un contrôle fin (fusion de couches, FlashAttention, page attention).

4. Déploiement via Triton Inference Server (optionnel)

Le moteur compilé peut être servi via Triton avec le backend tensorrt_llm. Un fichier config.pbtxt configure le modèle. Triton expose une API REST compatible OpenAI.

Pièges à éviter : incohérence des versions entre TensorRT-LLM et CUDA (nécessite CUDA 12.x), mémoire insuffisante pour la compilation (le processus peut consommer plus de RAM que l’inférence elle-même), et modèles non supportés (certaines architectures comme Mamba ou RWKV nécessitent des adaptateurs spécifiques).

---

Benchmarks : Spark Arena et les vrais chiffres de septembre 2026

Le nerf de la guerre, ce sont les chiffres. NVIDIA communique peu sur les performances réelles de TensorRT-LLM sur DGX Spark. Heureusement, la communauté a mis en place Spark Arena, un protocole de test standardisé qui permet de comparer objectivement les modèles et les moteurs d’inférence. Le benchmark communautaire publié en 2026 complète ces données.

Résultats Spark Arena et retours terrain (juillet-septembre 2026)

Modèle	Quantification	Tokens/s (prefill)	Tokens/s (génération)	Source
Llama 3.1 8B Instruct	FP8	~10 000	~200	SysKB (oct. 2025)
Qwen3.6-27B	NVFP4	~5 000	28-33	Spark Arena (juin 2026)
Qwen3.6-27B (multi-agent, 10 agents)	NVFP4	—	136	Spark Arena (juin 2026)
Qwen3.6-27B (peak decode)	NVFP4	—	163	Spark Arena (juin 2026)
DeepSeek V4 Flash-0731 (1 Spark)	Q8 (UD-Q8_K_XL)	1 000	59 (multi-agent)	Forums NVIDIA (août 2026)
DeepSeek V4 Flash-0731 (2 Spark)	NVFP4 + KV cache	—	~30 (défaut) → amélioré	Forums NVIDIA (juil. 2026)
Ant Ling-3.0-Flash 124B-A5B	—	—	15-20	Forums NVIDIA (juil. 2026)
Poolside Laguna S 2.1 (118B)	—	—	19-50	Habr / ai-stat.ru (juil. 2026)

Ces chiffres montrent une réalité nuancée : les modèles MoE récents (DeepSeek V4 Flash, Ant Ling, Laguna S 2.1) tirent pleinement parti de la bande passante mémoire du GB10, mais les débits en génération restent modestes comparés aux GPU discrets haut de gamme. En revanche, le prefill est spectaculaire – 1 000 tok/s sur DeepSeek V4 Flash – ce qui rend le Spark redoutable pour les workloads agentiques où le contexte est long et la génération courte.

Le multi-agent est un cas d’usage clé : avec 10 agents simultanés sur Qwen3.6-27B, le débit agrégé atteint 136 tok/s, soit 4× le débit mono-session. C’est exactement le scénario pour lequel TensorRT-LLM excelle grâce au batching continu et au cache KV paginé.

---

Fine-tuning : LoRA, QLoRA et full fine-tune en BF16

Le DGX Spark n’est pas qu’une machine d’inférence : ses 128 Go de mémoire unifiée en font aussi une plateforme de fine-tuning locale redoutable. Les playbooks NVIDIA documentent trois approches principales, toutes supportées par l’écosystème CUDA.

LoRA et QLoRA : le standard pour les petits budgets

La méthode la plus populaire reste LoRA (Low-Rank Adaptation), qui ne met à jour qu’un petit nombre de paramètres additionnels. Sur le Spark, on peut fine-tuner des modèles jusqu’à 70B en LoRA avec des résultats convaincants. QLoRA (quantized LoRA) permet d’aller encore plus loin en chargeant le modèle de base en 4 bits, réduisant l’empreinte mémoire de 4×.

Des outils comme Unsloth (optimisé pour CUDA) ou Axolotl tournent nativement sur le Spark. Les retours terrain indiquent qu’un fine-tuning LoRA sur Llama-3.1-8B prend environ 30 minutes sur une seule Spark, contre plusieurs heures sur un Mac Studio.

Full fine-tune en BF16 : jusqu’à 70B

Grâce aux 128 Go de mémoire unifiée, le Spark peut effectuer un full fine-tune en BF16 sur des modèles jusqu’à 70 milliards de paramètres. C’est un avantage décisif face aux GPU discrets limités à 24-32 Go de VRAM. En pratique, un full fine-tune sur Qwen3-32B est réalisable en une nuit, avec une qualité de convergence comparable à celle d’un cluster cloud.

Les outils qui tournent sur PAIR

Depuis le 3 septembre 2026, PAIR (Personal AI Runtime) de NVIDIA orchestre l’ensemble : il gère le cycle de vie des modèles, le fine-tuning et le déploiement en quelques commandes. PAIR s’appuie sur les playbooks existants et ajoute une couche d’automatisation bienvenue pour les développeurs. Les PC Spark pré-construits (attendus en octobre) embarqueront PAIR en standard.

---

Clusters DGX Spark : quand l’union fait la force locale

L’un des atouts majeurs du DGX Spark est sa capacité à s’agréger en cluster. NVIDIA a officialisé en juin 2026 le support du clustering 4 nœuds via le réseau 10GbE (1,25 Go/s théoriques), avec une promesse de gain de 2,6× sur les workloads distribués. Les playbooks documentent l’installation de Kubernetes avec le GPU Operator pour orchestrer les ressources.

Benchmarks réels sur 1, 2 et 4 nœuds

Les tests communautaires montrent des résultats contrastés :

• Inférence : le scaling est quasi linéaire pour les modèles trop gros pour un seul nœud (ex. DeepSeek V4 Flash en Q8, 162 Go). Sur 2 nœuds, on atteint des débits stables de 30-40 tok/s en génération, avec un prefill qui monte à 2 000 tok/s agrégés.
• Fine-tuning : le full fine-tune distribué (via DeepSpeed ou FSDP) fonctionne, mais le gain est modeste (1,5× sur 2 nœuds) en raison de la bande passante 10GbE limitée. Le fine-tuning LoRA distribué est plus efficace (1,8×).
• Serving multi-agents : c’est là que le cluster brille. Avec 2 nœuds et DeepSeek V4 Flash, un utilisateur rapporte 59 tok/s en serving multi-agents sur une seule Spark, et le doublement des nœuds permet de doubler le nombre d’agents simultanés sans dégrader la latence.

Le réseau : le point faible

Le 10GbE est le principal goulot d’étranglement. NVIDIA avait initialement annoncé du 100 GbE, mais la version finale du Spark est limitée au 10GbE. Pour les workloads nécessitant un transfert intensif de poids de modèles entre nœuds, cela se ressent. En revanche, pour l’inférence et le serving, où les poids restent en mémoire locale et seuls les activations circulent, le 10GbE suffit amplement.

PAIR et les PC Spark : la fin du tout-cloud ?

Le 3 septembre 2026, NVIDIA a officialisé PAIR et une gamme de PC Spark pré-construits (ASUS, MSI, Acer, Gigabyte) qui arriveront à l’automne. Ces PC, équipés de la puce RTX Spark (variante N1X), visent à démocratiser l’IA locale sur Windows. Les premiers modèles ASUS et MSI sont attendus dès octobre, avec des prix compétitifs (500 à 1 000 $ de moins que le DGX Spark pour les versions Acer/Gigabyte, prévues début 2027). CUDA 13.4 pour Windows sur Arm est déjà en preview, et SEGA l’a adopté – signe que l’écosystème Windows Arm décolle.

---

Mises à jour logicielles : ce qui a changé depuis juin 2026

La mise à jour de juin 2026 a apporté trois nouveautés majeures au DGX Spark :

1. NVFP4 : le nouveau format de quantification 4 bits de NVIDIA, qui offre une qualité proche du FP8 avec la moitié de la bande passante. Il est désormais supporté nativement par TensorRT-LLM et recommandé pour les modèles >30B.
2. Clustering 4 nœuds : le support officiel du multi-nœuds via Kubernetes, avec le GPU Operator intégré.
3. NemoClaw : un outil de gestion de modèles qui simplifie le déploiement et la mise à jour des poids.

En septembre 2026, ces fonctionnalités sont stables et largement adoptées par la communauté. Les benchmarks Spark Arena les intègrent désormais par défaut.

---

Verdict : TensorRT-LLM tient-il ses promesses sur le Spark ?

Après des mois de tests, le bilan est nuancé mais globalement positif.

Ce qui est confirmé :

• Le gain de performance par rapport à une inférence PyTorch native est réel : 2 à 4× selon les modèles, jusqu’à 8× vs CPU.
• Le NVFP4 est une avancée majeure pour faire tenir des modèles de 120B dans 128 Go avec une qualité préservée.
• Le serving multi-agents est excellent grâce au batching continu et au cache KV paginé.
• Le fine-tuning LoRA/QLoRA est très efficace, et le full fine-tune BF16 jusqu’à 70B est un avantage unique.

Ce qui reste à prouver :

• Les débits de génération restent modestes (20-60 tok/s) comparés aux GPU discrets haut de gamme – c’est la limite physique de la bande passante LPDDR5x.
• La liste officielle de modèles supportés est encore limitée ; les modèles les plus récents (DeepSeek V4 Flash, Ant Ling, Laguna S 2.1) ne sont pas encore dans la liste officielle TensorRT-LLM.
• Le clustering 4 nœuds est utile pour l’inférence et le serving, mais le 10GbE limite le fine-tuning distribué.

En résumé : TensorRT-LLM est le moteur indispensable pour exploiter pleinement le DGX Spark. Sans lui, on perd 2 à 4× de performance. Avec lui, le Spark devient une véritable station d’IA locale capable de rivaliser avec des serveurs cloud pour une fraction du coût – surtout depuis l’arrivée de PAIR et des PC Spark. La promesse de NVIDIA est tenue, à condition d’accepter les compromis inhérents à la mémoire unifiée.

---

Sources

• TensorRT-LLM expliqué : le moteur d’inférence de NVIDIA
• NVIDIA DGX Spark : performances multipliées par 2.5 et vitesse vidéo 8×
• TensorRT-LLM : Un guide complet pour optimiser l’inférence des LLM
• NVIDIA DGX Spark : l’IA à la maison | Programmez!
• Comment NVIDIA compte démocratiser l’IA en local
• DGX Spark contre Mac Studio & Halo: Benchmarks et Alternatives
• README officiel des playbooks DGX Spark
• DeepWiki : TensorRT-LLM sur DGX Spark
• Forums NVIDIA : DeepSeek V4 Flash 0731 sur 1 Spark
• Forums NVIDIA : Agent Serving sur 2× DGX Spark
• Forums NVIDIA : Ant Ling-3.0-Flash 124B-A5B
• Habr : Poolside Laguna S 2.1
• ai-stat.ru : Laguna S 2.1
• Benchmark communautaire Spark Arena
• DeepWiki : Fine-tuning sur DGX Spark
• DeepWiki : DeepSeek V4 Flash sur une Spark