NVIDIA DGX Spark · 26 October 2026

LLM open source sur DGX Spark : NVFP4, fine-tuning BF16, clusters RDMA et la bascule du 64 Go — le guide complet de l’automne 2026

Le DGX Spark s’est imposé comme la machine de référence pour l’inférence locale de grands modèles de langage. Mais entre la bascule tarifaire du 23 octobre 2026, l’arrivée d’une génération de modèles Flash à activation ultra-clairsemée, la maturation des clusters RDMA et les mises à jour logicielles de l’automne, difficile de s’y retrouver. Voici un tour d’horizon pratique, chiffré et sans langue de bois, pour tirer le meilleur de votre GB10 — en tenant compte du fait que la machine que vous achèterez aujourd’hui n’a plus tout à fait la même mémoire que celle de 2025.

Le GB10 en 2026 : anatomie d’une boîte qui a changé de prix (et de mémoire)

Quand NVIDIA a lancé le DGX Spark en 2025, beaucoup y voyaient un joujou de développeur, un « Mac mini pour l’IA » un peu gadget. Un an et demi plus tard, le constat est tout autre : cette petite boîte noire est devenue l’outil de travail quotidien d’une communauté grandissante de chercheurs, d’ingénieurs et d’indépendants qui veulent exécuter des LLM open source sans dépendre du cloud.

Le cœur de la machine, c’est le superchip Grace Blackwell GB10 : 128 Go de mémoire unifiée LPDDR5X à 273 Go/s, jusqu’à 4 To de stockage NVMe, et une capacité annoncée de 1 PetaFLOP en FP4 avec sparsité. La puce compte 20 cœurs Arm, un TDP de 140 W, une alimentation de 240 W (ServeTheHome mesure entre 60 et 200 W en charge réelle), un format de 150 mm de côté. Ces spécifications sont confirmées par la fiche NVIDIA et reprises par QDNA comme par morgannriu.fr. Côté réseau, chaque nœud embarque une carte ConnectX-7 à 200 Gb/s (deux ports QSFP) : c’est elle qui rend les clusters crédibles, on y revient plus bas.

Le vrai séisme de l’automne : la bascule du 23 octobre 2026

C’est le point qu’il faut absolument intégrer avant d’acheter. Le 2 octobre 2026, NVIDIA a officialisé une nouvelle configuration à 64 Go de mémoire unifiée, commercialisée à partir du 23 octobre 2026 chez plusieurs constructeurs, à 4 999 $ — soit 1 000 $ de plus que le prix de lancement de la version 128 Go en 2025. Le même jour, la version 128 Go grimpe au-delà de 6 000 $ sur le marché, conséquence directe de l’envolée des cours de la (LP)DDR5. Voir Frandroid, Clubic, Pause Hardware et le blog officiel NVIDIA qui accompagne l’annonce.

Autrement dit : moins de mémoire, plus cher. La baisse de prix que certains articles annonçaient début 2026 (prix public NVIDIA passé de 3 999 $ à 4 699 $ en février 2026, soit +18 % selon Tom’s Hardware) s’est inversée. En France, QDNA relève chez LDLC.pro une édition PNY à 5 083 € HT (relevé du 26 septembre 2026), soit environ 8 400 € TTC avec TVA à 20 %, et 5 290 € HT chez Nelpx. Les 4 679 $ d’explainx.ai et les 4 000 € de Capital.fr appartiennent désormais à l’histoire ancienne : ce sont des chiffres d’avant la bascule.

La drôle d’astuce de la version 64 Go, c’est qu’elle peut dépasser en capacité effective la version 128 Go dans certains scénarios de cluster, comme le souligne Clubic : deux nœuds 64 Go reliés en QSFP totalisent 128 Go désagrégés, avec une souplesse d’allocation que la machine unique n’a pas. C’est le débat « deux petits plutôt qu’un gros » posé par Frandroid — et la réponse dépend entièrement de votre usage (voir la section clusters).

Attention aussi au bazar des étiquettes : le même silicium GB10 est vendu sous trois noms — RTX Spark (grand public, dévoilé au Computex 2026), DGX Spark (professionnel) et le nom de code N1X. Les partenaires (Acer, ASUS, Dell, Gigabyte, HP, Lenovo, MSI) déclinent la machine, et Acer livre depuis le 8 septembre 2026 un mini-PC RTX Spark 128 Go positionné 500 à 1 000 $ sous le DGX Spark officiel. Un détail qui compte quand on compare les prix.

Face à la concurrence

Le positionnement reste net mais se complique. Le Mac Studio M5 Max (128 Go unifiés, 614 Go/s de bande passante) reste un concurrent sérieux sur la bande passante pure. Surtout, l’AMD Ryzen AI Halo 192 Go est arrivé le 14 octobre 2026 chez Micro Center à 7 299,99 $ : c’est le premier desktop compact capable de charger des modèles open-weight de 300 milliards de paramètres, mais les benchmarks indépendants cités par TechTimes montrent que le DGX Spark garde l’avantage en vitesse grâce à CUDA. Et au-dessus, NVIDIA prépare une DGX Station for Windows (748 Go de mémoire cohérente, 20 PFLOPs FP4, lancement Q4 2026 via 6 partenaires OEM) — une autre catégorie, une autre facture.

Côté PC, une RTX 5090 avec 32 Go de VRAM ne peut tout simplement pas charger un modèle 70B quantifié. Le cloud, lui, coûte cher à l’usage : un Spark s’amortit en quelques mois face à des instances GPU facturées à l’heure. Mais méfiance sur les comparaisons bâclées : un article de dev.to cite « AWS g5.xlarge (A100) » comme référence — or les instances g5 utilisent des GPU A10G, pas des A100. Une erreur qui jette un doute sur la rigueur globale de ce type de comparatif.

Les modèles qui tournent vraiment sur GB10 à l’automne 2026

La question que tout nouveau propriétaire se pose : quel modèle lancer en premier ? La réponse a encore changé cet automne. L’arrivée de modèles MoE à activation ultra-clairsemée — où seuls quelques milliards de paramètres sont actifs par token — a transformé l’expérience. Le GB10 récompense l’activation clairsemée et punit le décodage dense, comme le rappelle ai-muninn.com.

La génération Flash de septembre 2026

Le paysage a été bouleversé par trois modèles « Flash » sortis entre fin août et mi-septembre 2026, documentés par Context Studios :

GLM-5.3-Flash est le codeur open-weight le plus fort de la classe Flash (Terminal-Bench 2.1 à 84,3, DeepSWE v1.1 à 63,4), mais ses poids FP8 natifs pèsent environ 306 GiB : une machine de 128 Go ne suffit pas. C’est un modèle de cluster ou de cloud.

DeepSeek V4.1 Flash (ouvert le 10 septembre 2026) n’est pas une itération de V4 Flash mais une reconstruction : tokenizer propre, graphe d’inférence propre, 189 GiB de tables Engram qui restent sur SSD dans le paquet Q2 pendant que 152 GiB de poids principaux tournent en mémoire. Sur un seul Spark 128 Go, c’est hors-jeu en l’état ; sur deux nœuds, le pari devient crédible. Côté API, c’est l’aubaine : 0,15 $ d’entrée / 0,60 $ de sortie par million de tokens hors pic. À noter : DeepSeek a retiré V4-Pro, les requêtes étant temporairement traitées par V4.1-Flash depuis le 14 septembre 2026, et un V4.1-Pro est annoncé (voir deepseek.fr et DataCamp).

Qwen3.8-Flash-Next est le checkpoint d’aperçu de l’architecture Qwen4 : modèle principal de 125B plus une couche d’embedding n-gram de 51B, seulement ~6B actifs, entrée image et vidéo natives, 262K de contexte natif extensible à 1M via YaRN. C’est le candidat le plus réaliste pour un Spark unique parmi les trois — mais attention, la configuration YaRN devient alors votre problème de déploiement.

Les champions confirmés sur un seul Spark

DeepSeek V4 Flash 0731 reste le modèle le plus discuté de l’été. Publié le 31 juillet 2026 (deepseek-ai/DeepSeek-V4-Flash-0731), c’est un MoE de 284 milliards de paramètres totaux avec seulement 13 milliards actifs par token, un contexte d’un million de tokens, des poids mixtes FP4 + FP8 mesurés à environ 83,4 Go, et un module DSpark (décodeur spéculatif fusionné dans le checkpoint). Les benchmarks publiés sur les forums NVIDIA sont impressionnants : 76,7 sur CyberGym, 54,4 sur DeepSwe, 54,2 sur NL2Repo et 82,7 sur Terminal-Bench 2.1. Sur un dual DGX Spark, il atteint des débits confortables — jusqu’à 30 tok/s en configuration par défaut, et davantage après ajustement du fichier de configuration. Mieux : un développeur l’a fait tourner sur un seul Spark avec un backend CUDA maison, atteignant 1 000 tok/s en prefill et 59 tok/s en multi-agent serving. En quantification Q8 (UD-Q8_K_XL), le modèle pèse 162 Go, ce qui le rend jouable sur un cluster de deux Spark (256 Go de mémoire unifiée), mais pas sur une seule machine. Le guide complet de QDNA détaille les configurations pour Spark, cluster 2× Spark et DGX Station GB300.

Ant Ling-3.0-Flash (124B-A5B), sorti le 23 juillet 2026, est le chouchou des possesseurs de Spark unique. Avec seulement 5 milliards de paramètres actifs, ce modèle d’Ant Group bat leur précédent modèle 1T sur presque tous les benchmarks, selon les forums NVIDIA. Son architecture hybride linéaire-attention native (couches KDA et MLA empilées en ratio 5:1) le rend adapté aux longues séquences, avec un contexte natif de 256K tokens extensible à 1M. Les estimations communautaires le placent entre 15 et 20 tok/s sur un seul DGX Spark.

Qwen 3.5 27B reste le couteau suisse. Selon le leaderboard BridgeBench (snapshot du 9 avril 2026), il obtient 76,3 % de taux de réussite global, avec 11,1 tok/s et un TTFT de 361 ms. Il domine le raisonnement (95,0 %) et la génération de code (75,0 %). À noter que la génération suivante, Qwen3.8-27B, sortie en août 2026, tourne à 34-38 tok/s sur DGX Spark selon les relevés d’août 2026 — un saut notable.

GPT-OSS 120B (FP8) est le champion du débit : 41,9 tok/s, soit 3,8 fois plus que Qwen 3.5 27B, avec 74,0 % de taux de réussite. Il est le seul à dépasser 80 % en instruction-following, mais perd sur le raisonnement (86,7 %) et le code (70,0 %).

Gemma 4 26B-A4B en NVFP4 est le choix par défaut recommandé par ai-muninn.com pour la mi-2026. Avec vLLM stock et le support natif de MTP (Multi-Token Prediction), il atteint 108 tok/s mesurés. L’ancien chemin communautaire (quant + patch) est désormais obsolète : tout est natif dans vLLM.

Qwen 3.6 35B A3B en NVFP4 est le roi de la vitesse : plus de 200 tok/s avec un tool-calling parfait, selon tokenstead.ai. C’est le choix idéal pour les agents et les usages interactifs. Sur un usage multi-agents, Qwen3.6-27B atteint 136 tokens/s avec 10 agents, avec un pic de décodage à 163 tokens/s.

Poolside Laguna S 2.1 (118B), sortie le 23 juillet 2026, est la première grande ouverture de poids américaine depuis 11 mois. Conçue pour le codage agentique, son architecture MoM avec routeur token-choice et 256 experts la rend compatible avec les machines à mémoire unifiée de 128 Go.

Ce qui ne marche pas (encore)

Les modèles denses de 31B restent un piège : Gemma 4 31B en FP16 plafonne à 16,5 tok/s avec un TTFT brutal de 10 secondes, inutilisable en interactif. Les denses de 70B en 4-bit tournent entre 8 et 15 tok/s — utilisables en génération, pas en batch. Et comme le rappelle ai-muninn.com, NVFP4 n’est pas automatiquement plus rapide que FP8 sur GB10 : il faut tester au cas par cas.

Benchmarks réels : le tableau de bord de l’automne 2026

Voici une synthèse des benchmarks indépendants publiés entre avril et octobre 2026, croisant BridgeBench, les tests communautaires des forums NVIDIA, les guides spécialisés, les mesures de DevToolStack (17 LLM testés sur GB10), de Conatus AI (vLLM bare-metal) et du nouvel outil AA-AgentPerf-Local d’Artificial Analysis (lancé le 29 septembre 2026, testant DGX Spark, Ryzen AI Halo, MacBook Pro M5 Pro et RTX 5090 sur 4 modèles open-weight) :

Leçon principale : le débit et la qualité pointent dans des directions opposées sur le Spark. GPT-OSS 120B stream 4 fois plus vite que Qwen 3.5 27B, mais perd sur le raisonnement et le code. Pour un usage agentique, les modèles à activation clairsemée (A3B, A4B, A5B) offrent le meilleur compromis.

NVFP4, TensorRT-LLM, décodage spéculatif : le trio qui débloque les gains

La vraie histoire logicielle de 2026, c’est le passage de « ça tourne » à « ça sert ». Trois briques font la différence :

NVFP4 — le format 4 bits natif de Blackwell — est désormais supporté nativement par vLLM et TensorRT-LLM sur GB10. Mais attention au mythe : NVFP4 n’est pas toujours plus rapide que FP8. Sur certains modèles, la conversion ajoute un surcoût de déquantification qui annule le gain de bande passante. Il faut benchmarker.

TensorRT-LLM offre le meilleur débit absolu sur GB10, au prix d’une compilation de moteur par modèle et par configuration. Pour un usage figé (un modèle, un contexte, un batch), c’est le bon choix ; pour de l’expérimentation, vLLM reste plus souple.

Le décodage spéculatif est le vrai sujet de l’automne 2026. Le module DSpark de DeepSeek V4 Flash, le MTP de Gemma 4, les têtes de prédiction multi-token de Qwen3.8-Flash-Next : tous exploitent un petit modèle « draft » pour proposer plusieurs tokens que le grand modèle valide en une passe. Sur GB10, où le décodage est limité par la bande passante mémoire (273 Go/s), c’est le levier le plus rentable — quand le draft est bien aligné avec le modèle cible. Quand il ne l’est pas, le taux d’acceptation s’effondre et le décodage spéculatif ralentit l’inférence. C’est un réglage, pas une baguette magique.

Mémoire unifiée et FP4 : repousser les limites de contexte et de batch sans OOM

La mémoire unifiée est le superpouvoir du DGX Spark, mais elle a ses limites — et la bascule vers 64 Go rend ce calcul plus critique que jamais.

Prenons un modèle 7B en FP16 : environ 14 Go de poids. En 4-bit, 3,5 Go. Le KV cache croît linéairement avec le contexte : pour 32K tokens sur un 7B, plusieurs Go supplémentaires. L’overhead CUDA (buffers, activations, fragmentation) ajoute encore quelques Go. Un contexte de 128K sur un 7B 4-bit est jouable sur 128 Go, tendu sur 64 Go.

Pour les modèles 70B en 4-bit (35 Go de poids), un contexte de 8K est confortable, 32K devient tendu, 128K exige des optimisations agressives (quantification du KV cache, gpu_memory_utilization réduit). Les MoE de 120B+ comme Ant Ling-3.0-Flash (124B, 5B actifs) occupent environ 60-70 Go en 4-bit — sur 64 Go, c’est la limite haute, et il faut rogner le contexte.

En pratique, la communauté recommande de laisser au moins 10-15 % de mémoire libre pour éviter les OOM. Les réglages clés sont gpu_memory_utilization (vLLM, SGLang, TensorRT-LLM) et la quantification du KV cache (FP8 ou 4-bit). Le batch est limité par la somme des KV caches de toutes les requêtes simultanées : sur un 7B 4-bit, un batch de 8 requêtes à 4K tokens chacune est réaliste sur 128 Go ; sur 64 Go, il faut diviser par deux ou activer le partage de cache.

C’est précisément là que le cluster change l’équation : deux Spark 64 Go en tensor parallel offrent 128 Go agrégés avec un pool de cache KV partagé qui peut atteindre 1 105 096 tokens (mesuré en août 2026 sur 2× Spark). La mémoire désagrégée n’est pas qu’un argument marketing.

Fine-tuning BF16 : l’exploit d’un 35B sur un seul Spark

Longtemps, le fine-tuning sur GB10 était le parent pauvre : on inférait, on n’entraînait pas. L’automne 2026 change la donne. Grâce à la mémoire unifiée et aux optimisations BF16 de la pile NVIDIA, il est désormais possible de fine-tuner un modèle de 35B sur un seul Spark — un exploit impensable sur une RTX 5090 (32 Go) ou un Mac Studio.

Les recettes qui marchent : LoRA et QLoRA en BF16 avec gradient checkpointing, batch size réduit (1 à 4), séquences courtes (2K à 4K tokens), et surtout un choix rigoureux du rang LoRA (r=16 à 64). Le fine-tuning full-parameter d’un 35B reste hors de portée d’un nœud unique ; c’est là que le cluster 2× ou 4× Spark entre en jeu, avec un parallélisme de données ou de tenseurs selon la taille.

Pour les modèles plus modestes (7B à 13B), le fine-tuning LoRA BF16 sur un Spark unique est confortable et ouvre la voie à des adaptateurs spécialisés (domaine métier, style, format de sortie) sans jamais toucher au cloud. C’est probablement l’usage le plus sous-estimé de la machine.

Clusters DGX Spark : la désagrégation, le réseau, et le talon d’Achille

Le Spark est une fusée à un étage : la puissance locale bute vite sur le réseau. Mais 2026 a vu la maturation des clusters multi-nœuds, et le tableau est plus nuancé qu’en 2025.

Le réseau, nerf de la guerre. Chaque Spark embarque une ConnectX-7 à 200 Gb/s. En connexion directe de deux nœuds par câble QSFP, NVIDIA annonce jusqu’à 405 milliards de paramètres supportés. Au-delà, les cartes ConnectX-7 passent par un commutateur Ethernet, jusqu’à quatre unités et 700 milliards de paramètres selon la fiche NVIDIA relue le 2 septembre 2026. C’est ce qui rend les clusters crédibles pour les très gros MoE.

La désagrégation matérielle. Plutôt que de faire tourner le même modèle sur chaque nœud, on spécialise : un nœud pour le prefill (compute-bound), un autre pour le decode (memory-bound), un troisième pour le cache KV ou le routage. C’est l’approche qui permet de dépasser les limites d’un nœud unique, et c’est celle que documente QDNA dans son étude de cas.

Étude de cas : le cluster QDNA. Trois Spark en production depuis février 2026, avec DeepSeek et Qwen. Les chiffres clés : sur 2× Spark en TP=2 avec vLLM et DeepSeek-V4-Flash FP8, on atteint ~41 tok/s en single-stream, ~350 tok/s agrégés à concurrence 32, et ~1 785 tok/s en prefill. C’est le passage à l’échelle qui rend le cluster intéressant : le single-stream ne progresse pas énormément, mais le débit agrégé explose.

Le talon d’Achille. Le réseau reste le goulot : 200 Gb/s par nœud, c’est bien, mais la latence inter-nœuds et la synchronisation des gradients ou des tenseurs limitent le scaling. Pour l’inférence en tensor parallel, c’est acceptable ; pour l’entraînement distribué, c’est plus douloureux. Et le coût : un cluster de 4 Spark à 5 000-6 000 $ pièce, plus le commutateur, plus le câblage, ça commence à ressembler à une vraie facture.

Le 64 Go change la donne. Avec la bascule du 23 octobre 2026, la question « deux petits ou un gros ? » devient centrale. Deux Spark 64 Go (2 × 4 999 $ = 9 998 $) offrent 128 Go agrégés, un pool de cache KV partagé de plus d’un million de tokens, et la possibilité de désagréger prefill et decode — pour un prix comparable à un seul 128 Go (désormais >6 000 $). Pour les usages agentiques et le serving multi-utilisateurs, le cluster de deux 64 Go est souvent le meilleur choix. Pour le fine-tuning d’un gros modèle ou le chargement d’un modèle unique de 100B+, le 128 Go unique reste plus simple.

Sources

• QDNA — Étude de cas : cluster DGX Spark RDMA, DeepSeek et Qwen
• QDNA — DeepSeek local sur DGX Station, Spark et vLLM
• Context Studios — LLM ouverts actuels et le matériel sur lequel ils tournent (septembre 2026)
• ai-muninn.com — DGX Spark 2026 : guide de terrain
• BridgeBench — Leaderboard DGX Spark
• tokenstead.ai — Benchmarks DGX Spark 2026
• DevToolStack — Benchmark 17 LLM sur GB10 Grace Blackwell
• Conatus AI — vLLM bare-metal sur DGX Spark
• Artificial Analysis — AA-AgentPerf-Local (29 septembre 2026)
• NVIDIA — Blog officiel DGX Spark 64 Go
• Frandroid — Nvidia lance le DGX Spark en 64 Go
• Clubic — NVIDIA lance un DGX Spark 64 Go
• Pause Hardware — Le DGX Spark perd la moitié de sa mémoire
• Tom’s Hardware — DGX Spark : hausse de prix de 18 %
• TechTimes — AMD Ryzen AI Halo 192 Go vs DGX Spark
• morgannriu.fr — NVIDIA DGX Spark & RTX Spark : le supercalculateur IA de bureau tient-il ses promesses ?
• DataCamp — DeepSeek V4.1 Flash : fonctionnalités et benchmarks
• deepseek.fr — DeepSeek V4.1-Flash
• Forums NVIDIA Developer

Article recherché et rédigé automatiquement · Magazine Electrosens