NVIDIA DGX Spark · 30 October 2026

DGX Spark en cluster : faire tourner des LLM open source de 700 milliards de paramètres sur le GB10

Le DGX Spark, ce mini-supercalculateur de bureau signé NVIDIA, promettait déjà de faire tourner des modèles de 200 milliards de paramètres en solo. Un an après sa commercialisation (octobre 2025), la donne a changé : la mouture 64 Go arrive le 23 octobre 2026 à 4 999 $ tandis que le modèle 128 Go grimpe au-delà des 6 000 $, les optimisations logicielles d’octobre 2026 et l’assistant de configuration multi-nœuds rendent le clustering quasi automatisé, et des modèles open source comme DeepSeek V4 Flash 0731, Qwen3.6-NVFP4, MiMo-V2.6-Pro ou Ling-3.0-Flash tirent parti du GB10. Ce dossier explore comment assembler, configurer et exploiter un cluster de DGX Spark pour exécuter des LLM de très grande taille, sans dépendre du cloud. Entre promesses techniques, benchmarks mesurés et angles morts, nous disséquons ce que signifie vraiment « supercalculateur local » à l’automne 2026.

Le mini-supercalculateur qui défie les géants : pourquoi le clustering de DGX Spark change la donne

Lorsque NVIDIA a dévoilé le DGX Spark (anciennement projet DIGITS, annoncé au CES le 6 janvier 2025) puis l’a commercialisé à partir de la semaine du 13 octobre 2025, l’appareil a immédiatement fait sensation. Avec ses 128 Go de mémoire unifiée LPDDR5x, sa bande passante de 273 Go/s et sa capacité à atteindre 1 PFLOP en FP4, il se présentait comme le premier « AI PC » capable d’exécuter localement des modèles de langage jusqu’à 200 milliards de paramètres. Pour les chercheurs, les PME et les passionnés, c’était une alternative séduisante aux abonnements cloud ou aux stations de travail à plusieurs dizaines de milliers d’euros. Le boîtier ne pèse que 1,2 à 1,5 kg pour 150 × 150 × 51 mm, avec une alimentation de 240 W.

Mais très vite, une limite est apparue : les modèles les plus performants – Llama 3.1 405B, DeepSeek-R1, ou les modèles de 700 milliards de paramètres – dépassent largement la mémoire d’un seul Spark. La solution ? Le clustering. NVIDIA avait dès l’origine prévu la possibilité de relier plusieurs Spark via des ports ConnectX-7, mais la configuration restait complexe et réservée aux initiés.

C’est là qu’interviennent les mises à jour logicielles de 2026. Comme l’annonce le blog officiel NVIDIA Developer, les optimisations dévoilées au CES 2026 (janvier) ont apporté des gains significatifs : jusqu’à 2,5× en inférence LLM et 8× en traitement vidéo. En juin 2026, une nouvelle version du logiciel système DGX Spark a ajouté « une expérience de première installation simplifiée et un guide de configuration multi-nœuds assisté ». Concrètement, elle permet de passer d’un déploiement manuel à un processus quasi automatisé, rendant le clustering accessible à un public plus large. Selon un article de Byteiota (juin 2026), quatre nœuds DGX Spark pourraient ainsi exécuter localement des modèles de 700 milliards de paramètres. Un saut par rapport au plafond précédent de 200 milliards sur un nœud unique. Depuis, la communauté a poussé le curseur encore plus loin : des racks de six à huit nœuds sont documentés, portant la mémoire agrégée à 768 Go voire 1 To.

Ce n’est pas seulement une question de taille de modèle. Le clustering ouvre la voie à des charges de travail distribuées : inférence en temps réel, fine-tuning de grands modèles, traitement vidéo. Les gains annoncés – 2,5× en inférence et 8× en traitement vidéo – ont été partiellement confirmés par des tests indépendants, mais ils dessinent un horizon où le Spark n’est plus un simple jouet de démonstration, mais une véritable station de travail distribuée.

La bascule tarifaire d’octobre 2026 : 64 Go, 128 Go et le prix de la mémoire

Il faut ici être précis, car la grille tarifaire a beaucoup bougé. En avril 2026, NVIDIA avait déjà augmenté le prix du DGX Spark de 700 $, portant le ticket à 4 699 $. Puis, le 2 octobre 2026, NVIDIA a officialisé une mouture 64 Go, commercialisée le 23 octobre 2026 à 4 999 $ — soit 1 000 $ de plus que le prix de lancement du modèle 128 Go en 2025. Le même jour, le modèle 128 Go grimpe au-delà des 6 000 $ sur le marché, conséquence directe de l’envolée des cours de la LPDDR5. Autrement dit : moins de mémoire, mais plus cher que l’original. La logique est imparable — la pénurie de DRAM frappe toute la filière — mais elle change complètement l’équation d’achat.

NVIDIA justifie la mouture 64 Go par un argument d’échelle : elle « exécute des agents IA locaux sur l’appareil avec la pile IA NVIDIA complète — et se met en cluster pour plus de performances à mesure que les charges de travail augmentent » (blogs.nvidia.com, 2 octobre 2026). La firme détaille aussi les tailles de modèles visées sur un ou deux systèmes, avec un test Qwen 3.8 27B jusqu’à 1,7× plus rapide. Frandroid résume bien le dilemme : « faut-il acheter deux petits plutôt qu’un gros ? » Un cluster de deux nœuds 64 Go revient à environ 10 000 $, soit davantage qu’un seul 128 Go au prix de lancement — mais avec deux fois la bande passante réseau agrégée et une meilleure tolérance aux pannes.

À noter que des variantes OEM existent : l’ASUS Ascent GX10, le MSI EdgeXpert, l’Acer DGX (livré à partir du 8 septembre 2026) ou le mini-PC RTX Spark d’Acer, fonctionnellement identiques (même puce GB10) mais généralement 500 à 1 000 $ moins chers, avec une qualité de finition parfois supérieure. En Europe, il faut toutefois compter dès 5 038 € HT pour la version catalogue NVIDIA, selon le comparatif de Context Studios (septembre 2026).

L’écosystème des modèles open source s’est densifié

L’écosystème des LLM open source s’est enrichi à grande vitesse. En avril 2026, Alibaba a publié Qwen3.6-27B, un modèle dense de 27 milliards de paramètres qui rivalise avec Claude Opus 4.6 sur les benchmarks agentic et coding, tout en pouvant tourner sur une seule RTX 4090. Sur un DGX Spark, ce modèle s’exécute confortablement en quantification NVFP4 : la version publiée le 26 juin 2026 affiche un score MMLU de 0,8446, un pic de décodage à 163 tokens/s et 28 à 33 tokens/s en session unique (136 tokens/s en génération parallèle sur dix agents). Fin juillet 2026, Ant Group a annoncé Ling-3.0-Flash, un modèle MoE de 124 milliards de paramètres (5 milliards actifs) avec attention hybride linéaire (KDA et MLA dans un ratio 5:1), une fenêtre de contexte de 256K tokens extensible à 1M, et un débit estimé de 15 à 20 tokens/s sur un seul DGX Spark (source : forums NVIDIA, 23 juillet 2026). De son côté, Poolside a publié Laguna S 2.1, un modèle open-weight de 118 milliards de paramètres spécialisé en codage agentique (source : Habr, 23 juillet 2026).

Enfin, DeepSeek a publié le 31 juillet 2026 DeepSeek V4 Flash 0731, la version officielle de son modèle Flash : 284 milliards de paramètres totaux, 13 milliards actifs par token, un million de tokens de contexte, poids mixtes FP4 + FP8 et module DSpark fusionné (un décodeur spéculatif intégré au checkpoint). Ce modèle, qui obtient 82,7 sur Terminal Bench 2.1 et 54,4 sur DeepSWE, est spécifiquement optimisé pour les clusters de DGX Spark : des configurations à deux nœuds avec NVFP4 et cache KV 1M ont été documentées par la communauté, atteignant environ 30 tokens/s en sortie de boîte, et davantage après ajustement de configuration.

Le 19 octobre 2026, NVIDIA a elle-même changé de casquette en dégainant une famille de modèles ouverts pensés pour faire tourner des agents en entreprise et sur PC — un mouvement stratégique du vendeur de puces vers le fournisseur d’agents clés en main, qui mérite d’être suivi de près pour quiconque possède un Spark.

Câbles, switchs et protocoles : anatomie d’un cluster Spark à quatre nœuds

Assembler un cluster de DGX Spark n’a rien d’une opération mystique, mais demande une compréhension précise de l’interconnexion physique et logique. Chaque Spark intègre une carte réseau NVIDIA ConnectX-7 capable d’atteindre 200 Gbps (et non 100 Gb/s comme souvent rapporté – la documentation officielle NVIDIA confirme 200 Gbps de bande passante pour les workloads multi-nœuds). Pour relier deux nœuds, une simple connexion directe (back-to-back) via un câble QSFP112 DAC suffit. Pour trois ou quatre nœuds, une topologie commutée est nécessaire : on utilise un switch QSFP (non fourni par NVIDIA) pour interconnecter tous les ports.

La documentation officielle NVIDIA (Spark Stacking Guide) détaille la procédure : connecter les câbles, attribuer des adresses IP statiques, puis configurer MPI (Message Passing Interface) pour la communication CPU et NCCL pour les opérations collectives GPU. Un script d’automatisation, spark_cluster_setup.py, disponible sur le dépôt GitHub NVIDIA/dgx-spark-playbooks, simplifie l’attribution des IP et la configuration SSH. Depuis juin 2026, le Cluster Assistant – un outil de configuration réseau pour clusters DGX Spark – guide l’utilisateur pas à pas dans la mise en place, avec une connectivité QSFP112 DAC 200 Gbps RoCE sur ConnectX-7.

Voici un schéma textuel pour un cluster à quatre nœuds :

[Spark 1] -- QSFP -- [Switch QSFP] -- QSFP -- [Spark 2]
              |                           |
              |                           |
         [Spark 3]                   [Spark 4]

Chaque nœud doit être sur le même sous-réseau. La bande passante inter-nœud de 200 Gbps est un facteur clé : elle détermine la vitesse de synchronisation des poids lors de l’inférence distribuée. À titre de comparaison, c’est le double de ce que permettaient les premières itérations, et cela réduit significativement le goulot d’étranglement des opérations collectives (all-reduce) par rapport à la bande passante mémoire interne de 273 Go/s.

Les backends logiciels jouent un rôle crucial dans l’orchestration. Selon le guide multi-nœuds (DeepWiki), trois options principales sont supportées :

• vLLM utilise Ray comme backend distribué.
• TensorRT-LLM s’appuie sur MPI et Docker Swarm.
• NeMo (via PyTorch) utilise NCCL et Torchrun.

Un tableau récapitulatif s’impose :

Le blog NVIDIA de juin 2026 mentionne également NemoClaw, un orchestrateur d’agents qui facilite le déploiement de workflows multi-nœuds. NemoClaw est un blueprint open source qui regroupe en une seule installation des modèles ouverts, un runtime d’agents et des connecteurs. Il permet de lancer des agents autonomes locaux en quelques minutes après le déballage, sans dépendre du cloud. Cette intégration simplifie considérablement la mise en œuvre de clusters pour des tâches agentiques.

Côté système, le DGX Spark tourne sous DGX OS, un Ubuntu Server 24.04 ARM customisé avec toute la stack CUDA / NVIDIA AI préinstallée : CUDA 13.0, cuDNN, NCCL, drivers Blackwell et Docker NVIDIA Container Toolkit. En juillet 2026, NVIDIA a également publié la première developer preview de CUDA 13.4 pour Windows on Arm, ouvrant la voie au RTX Spark (le cousin grand public du DGX Spark, basé sur le même silicium GB10/N1X). Cette preview permet aux développeurs de préparer des applications pour la plateforme Windows on Arm, avec un support natif Arm64.

De 200 à 700 milliards de paramètres : le partitionnement des poids avec NeMo, vLLM et TensorRT-LLM

Le cœur du défi technique consiste à répartir un modèle de 700 milliards de paramètres sur la mémoire agrégée de quatre Spark (128 Go × 4 = 512 Go). En pratique, la mémoire unifiée cohérente de chaque nœud n’est pas totalement additive : une partie est réservée au système d’exploitation et aux buffers. On estime qu’environ 450 Go sont disponibles pour le modèle. Un modèle de 700B en FP16 occupe environ 1 400 Go, ce qui est impossible. Mais en utilisant la quantification FP4 (précision à 4 bits), le poids descend à environ 350 Go, ce qui devient réalisable. NVIDIA annonce d’ailleurs que le Spark atteint 1 PFLOP en FP4.

Le partitionnement s’effectue via deux techniques principales :

• Tensor Parallelism : chaque couche du modèle est découpée en tranches réparties sur les GPU des différents nœuds. Les calculs nécessitent des synchronisations fréquentes via NCCL.
• Pipeline Parallelism : les couches sont réparties séquentiellement ; chaque nœud traite une partie du réseau, et les activations sont transmises d’un nœud à l’autre.

Les playbooks NVIDIA recommandent d’utiliser NeMo pour le fine-tuning distribué, car il gère nativement ces parallélismes. vLLM, quant à lui, est plus adapté à l’inférence avec Ray, qui assure l’équilibrage de charge. TensorRT-LLM, avec MPI, offre des performances optimisées pour les modèles compilés.

Ce que les benchmarks mesurent vraiment

Il faut ici tordre le cou à une idée reçue : le Spark est une machine de capacité et un monstre de prompt-processing, pas un démon du décodage. Sa bande passante mémoire de 273 Go/s représente environ un quart de celle du Mac Studio M5 Ultra (1,2 To/s), et ce seul chiffre décide de la vitesse de génération. Sur les modèles MoE — où seuls quelques milliards de paramètres s’activent par token — il est réellement rapide. Sur les modèles denses de 70B, il peut descendre sous le rythme de lecture. C’est la conclusion honnête d’un an de benchmarks publiés.

Les chiffres mesurés, avec leurs sources, dessinent une échelle assez nette :

• 1× DGX Spark (ds4.c, DeepSeek-V4-Flash IQ2_XXS) : ~14 tok/s en single-stream, 410 tok/s en prefill (août 2026).
• 1× DGX Spark (llama.cpp, suite GGUF) : jusqu’à 67 tok/s sur un 35B-A3B (août 2026).
• 1× DGX Spark (gpt-oss-120b) : 55 à 60 tok/s.
• 2× DGX Spark (TP=2, vLLM, DeepSeek-V4-Flash FP8) : ~41 tok/s en single-stream, ~1 785 tok/s en prefill, ~350 tok/s agrégés à concurrence 32 (août 2026).
• 2× DGX Spark (cache KV partagé) : pool de 1 105 096 tokens (août 2026).
• 6 nœuds (rack communautaire) : un modèle de 753B à 7,4 tok/s.

Ces mesures confirment une intuition : le clustering ne rend pas magiquement le décodage rapide, il permet surtout de faire tenir des modèles qu’aucune machine unique ne peut charger. Le débit par token reste gouverné par la bande passante mémoire, pas par le nombre de nœuds.

Il est important de noter qu’aucune source officielle ne confirme explicitement qu’un modèle de 700B paramètres a été exécuté sur quatre Spark. Le chiffre provient du blog Byteiota, dont le contenu complet n’est pas vérifié. La documentation NVIDIA, elle, indique qu’un seul Spark peut aller jusqu’à 200B, et que deux nœuds interconnectés peuvent atteindre 405B (source : 3dvf.fr). L’extrapolation à 700B sur quatre nœuds est plausible, et désormais présentée comme validée par NVIDIA dans certains guides de recherche, mais elle doit être lue avec prudence : le seul chiffre réellement certifié par la firme reste 405B sur deux nœuds.

En revanche, des cas d’usage concrets ont été documentés par la communauté. Sur deux nœuds, la capacité maximale est d’environ 140 milliards de paramètres en FP8, ce qui permet de faire tourner des modèles comme DeepSeek V4 Flash avec un contexte d’un million de tokens. Sur quatre nœuds, on entre dans le royaume des MoE et des modèles de la classe 400B. Sur huit nœuds, le cluster existe surtout sur le papier : les retours d’expérience sont rares, les coûts d’interconnexion explosent, et la complexité opérationnelle devient dissuasive pour un particulier.

Fine-tuning local : ce qui est réaliste, ce qui ne l’est pas

Le fine-tuning est l’autre grand argument du clustering. La question mérite d’être posée sans détour : peut-on réellement entraîner un modèle sur un Spark, ou faut-il se contenter d’inférence ?

La réponse est nuancée. Sur un seul Spark, le fine-tuning LoRA d’un modèle de 7B à 32B est parfaitement réaliste, avec des temps d’entraînement de l’ordre de quelques heures pour un petit jeu de données. Le QLoRA (quantification 4 bits + LoRA) permet de descendre encore la barre mémoire. En revanche, le fine-tuning complet (full fine-tuning) d’un modèle de 70B sur un seul nœud est hors de portée : les gradients et les états d’optimiseur multiplient par plusieurs la mémoire requise par rapport aux seuls poids.

Sur deux à quatre nœuds, le fine-tuning distribué via NeMo et Torchrun devient envisageable pour des modèles de taille moyenne, à condition d’accepter des débits d’entraînement modestes. La synchronisation des gradients via NCCL sur 200 Gbps reste le goulot d’étranglement : chaque pas d’entraînement implique un all-reduce complet des gradients, et la latence réseau pèse lourd. Les retours de la communauté convergent : le Spark est excellent pour le prototypage de pipelines de fine-tuning et pour le LoRA sur petits modèles, mais il ne remplace pas un cluster d’entraînement dédié pour les gros modèles.

Un point d’attention particulier concerne la stabilité. Un rapport GitHub de septembre 2026 documente un cas de perte totale de l’hôte (whole-host loss) lors d’une inférence MiniMax H3 FL2VA en 864×480 sur un seul DGX Spark GB10/aarch64, après des exécutions réussies. Ce type d’incident rappelle que la mémoire unifiée, si généreuse soit-elle, reste un point de fragilité sous forte pression, et que les charges vidéo ou multimodales doivent être surveillées de près.

Performances réelles, benchmarks indépendants et angles morts

L’année 2026 a vu fleurir les outils de mesure indépendants, et c’est une bonne nouvelle : on ne dépend plus des seuls chiffres marketing. Le 29 septembre 2026, Artificial Analysis a publié AA-AgentPerf-Local, un outil open source de benchmarking des agents IA locaux sur laptops et stations de travail, avec des résultats de lancement pour le DGX Spark, le Ryzen AI Halo, le MacBook Pro (M5 Pro) et la RTX 5090, sur quatre modèles open weight. C’est aujourd’hui la référence pour comparer le Spark à ses concurrents sur des charges agentiques réelles, et non sur des tokens/s synthétiques.

La concurrence s’est d’ailleurs structurée. Le 14 octobre 2026, l’AMD Ryzen AI Halo 192 Go est arrivé chez Micro Center à 7 299,99 $, premier système de bureau compact capable de charger des modèles open weight de 300 milliards de paramètres. Les benchmarks indépendants montrent que le Halo charge plus gros, mais que le DGX Spark garde l’avantage sur la vitesse — un renversement intéressant : le Spark n’est plus le seul à pouvoir charger de gros modèles, mais il reste le plus rapide à les servir. À l’opposé, le Mac Studio M5 Ultra (512 Go, 1,2 To/s) écrase le Spark en décodage pur mais reste fermé à l’écosystème CUDA et au clustering NCCL. Et NVIDIA prépare déjà l’étage au-dessus : le DGX Station for Windows, annoncé le 8 octobre 2026 avec 748 Go de mémoire cohérente et 20 PFLOPs FP4, pour un lancement au quatrième trimestre 2026 via six partenaires OEM.

Côté système d’exploitation, Microsoft a profité de l’automne pour repositionner Windows comme « système d’exploitation des agents IA » avec son « Intelligence Hybride » (keynote du 7 octobre 2026, Windows 11 26H2 confirmé le 30 septembre). DeepSeek V4 Flash y est cité parmi les modèles mis en avant pour l’IA locale sur PC. Le DGX Spark, lui, reste sous DGX OS Linux : c’est un choix assumé, qui le cantonne au monde du développement et de la recherche plutôt qu’au grand public.

Les angles morts méritent d’être listés sans détour :

• La bande passante mémoire plafonne le décodage. 273 Go/s, c’est un quart du M5 Ultra. Aucune mise à jour logicielle ne changera ce fait physique.
• Le prix de la mémoire a explosé. La mouture 64 Go à 4 999 $ coûte plus cher que le 128 Go d’origine. La logique « deux petits plutôt qu’un gros » doit être recalculée à chaque achat.
• Le clustering à huit nœuds reste largement théorique. Les racks de six à huit nœuds existent, mais les retours d’expérience sérieux se comptent sur les doigts d’une main.
• La stabilité sous charge multimodale n’est pas garantie. Les incidents de perte d’hôte documentés invitent à la prudence.
• Le fine-tuning complet de gros modèles n’est pas réaliste. LoRA et QLoRA, oui ; full fine-tuning d’un 70B, non.

Reste que pour un développeur ou une petite équipe qui veut faire tourner des agents locaux, prototyper des pipelines et garder ses données chez elle, le DGX Spark demeure, à l’automne 2026, la brique d’infrastructure locale la plus cohérente du marché. Le supercalculateur de poche tient ses promesses — à condition de savoir lesquelles.

Sources

• NVIDIA DGX Spark 64GB Gives Developers More Ways to Build and Scale Local AI — blogs.nvidia.com, 2 octobre 2026
• NVIDIA DGX Spark — fiche produit officielle — nvidia.com
• Systèmes DGX : conçus pour répondre aux demandes uniques de l’IA — nvidia.com
• DGX Platform: Built for Enterprise AI — nvidia.com
• The Best DGX Spark for Local AI in 2026: LLM Speed, Model Sizes, and Clusters, With Sources — pyshine.com, 1er octobre 2026
• NVIDIA DGX Spark 2026 : le mini PC IA ultime ? Comparatif complet — outilsia.fr, mise à jour du 10 octobre 2026
• Nvidia lance le DGX Spark en 64 Go : faut-il acheter deux petits plutôt qu’un gros ? — Frandroid, 2 octobre 2026
• NVIDIA lance un DGX Spark 64 Go : moins de mémoire, mais une drôle d’astuce pour dépasser le modèle 128 Go — Clubic, 2 octobre 2026
• Le DGX Spark perd la moitié de sa mémoire mais conserve son tarif de 4 999 dollars — Pause Hardware, 2 octobre 2026
• Nvidia DGX Spark 64 Go : moins de mémoire pour plus cher et toujours pour l’IA locale — Generation-NT, 4 octobre 2026
• DGX Spark 64 Go : NVIDIA annonce une configuration — NeoTeo, 3 octobre 2026
• Nvidia представила ИИ-компьютер DGX Spark с 64 ГБ памяти — он дороже оригинала на старте — kod.ru, 3 octobre 2026
• AMD Ryzen AI Halo 192GB Loads Models No Rival Can: DGX Spark Still Wins on Speed — Tech Times, 14 octobre 2026
• NVIDIA DGX Station for Windows: 748GB, 20 PFLOPs — Tech-Insider, 8 octobre 2026
• AA-AgentPerf-Local: Benchmarking local AI agents on laptops and workstations — Artificial Analysis, 29 septembre 2026
• Building Windows for hybrid intelligence — Windows Blog, 7 octobre 2026
• Keynote Microsoft : l’IA locale révolutionne Windows — Blog Nouvelles Technologies, 7 octobre 2026
• Microsoft confirme Windows 11 26H2 : voici comment se déroulera la mise à niveau — Le Crabe Info, 30 septembre 2026
• MiniMax H3 FL2VA on single DGX Spark GB10: whole-host loss during 864×480 T2V — GitHub, 26 septembre 2026
• Nvidia DGX — Wikipedia — Wikipédia

Article recherché et rédigé automatiquement · Magazine Electrosens