NVIDIA DGX Spark · 6 November 2026

LLM open source sur NVIDIA GB10 DGX Spark : fine-tuning, clusters et mises à jour d’octobre 2026 — le guide vérifié

Le NVIDIA DGX Spark a débarqué avec sa mémoire unifiée de 128 Go et son architecture Grace Blackwell, promettant de démocratiser le fine-tuning de LLMs à domicile. Un an et demi plus tard, la promesse est tenue — et amplifiée. Unsloth et Axolotl s’affrontent toujours, mais désormais avec des benchmarks concrets sur le Spark, un écosystème logiciel mature (vLLM, TensorRT-LLM, speculative decoding) et des modèles open-weight de classe frontière comme Xiaomi MiMo-V2.6, Qwen3.8-27B ou Laguna S 2.1 qui tournent en local. Et à l’automne 2026, la gamme s’élargit : NVIDIA a officialisé une déclinaison 64 Go à 4 999 $, commercialisée à partir du 23 octobre, tandis que les clusters de 2 à 100 nœuds passent du rêve au déploiement. Plongée au cœur de la bataille, avec les chiffres d’octobre et de novembre 2026.

DGX Spark : le terrain de jeu du fine-tuning local en 2026

Le NVIDIA DGX Spark n’est pas un PC comme les autres. Avec son superchip GB10 Grace Blackwell, il marie un processeur ARM (Grace) à un GPU Blackwell (compute capability sm_121) via une interconnexion NVLink-C2C à 900 Go/s, le tout partageant 128 Go de mémoire unifiée LPDDR5X (~273 Go/s de bande passante). Lancé officiellement au GTC Spring 2025 (sous le nom de code « Project DIGITS »), il est devenu disponible le 15 octobre 2025 à 3 999 $, après un report par rapport à la fenêtre initialement visée en mai (source : zerlo.net). Il se positionne comme « le plus petit supercalculateur IA au monde » pour le bureau, avec jusqu’à 1 PetaFLOP de puissance IA en FP4, 4 To de stockage NVMe, une carte réseau ConnectX-7 et un boîtier de 150 × 150 × 50,5 mm (source : NVIDIA).

Pour le fine-tuning, cette architecture apporte à la fois des forces et des contraintes. La mémoire unifiée permet de charger des modèles de 70 milliards de paramètres en QLoRA sans saturer la VRAM — un luxe que même une RTX 5090 (32 Go) ne permet pas. Mieux : selon le tutoriel officiel d’Unsloth, on peut fine-tuner des modèles jusqu’à 200 milliards de paramètres sur le Spark, et gpt-oss-120b n’utilise qu’environ 68 Go de mémoire unifiée. Mais la bande passante mémoire reste inférieure à celle d’un H100 SXM dédié, et le compilateur CUDA doit être adapté à l’architecture ARM. Les benchmarks d’inférence (Spark Arena, juillet 2026) montrent que le DGX Spark rivalise avec une RTX 5090 sur des modèles 7B-13B, mais avec une consommation électrique bien moindre. En fine-tuning, des benchmarks réels ont enfin été publiés, notamment par la communauté via le projet axolotl-dgx-spark (source : GitHub).

Depuis juin 2026, l’écosystème a franchi un cap : vLLM a officialisé son support natif du DGX Spark, et TensorRT-LLM propose désormais une liste complète de modèles supportés (voir notre guide dédié). Côté quantification, le format NVFP4 s’impose comme un standard pour le Spark, permettant de faire tourner des modèles MoE de 118B paramètres comme Laguna S 2.1 sur une seule machine. Et avec l’arrivée de DeepSeek V4 Flash-0731 (284B paramètres, 13B actifs) et d’Ant Ling-3.0-Flash (124B-A5B, sorti le 23 juillet 2026), le Spark peut désormais héberger des modèles de classe frontière en local – à condition de bien choisir son framework de fine-tuning.

Notons aussi l’arrivée du NVIDIA RTX Spark en juin 2026 : même puce GB10, mais positionné pour les laptops et mini-PC Windows grand public. Huit OEM les commercialisent désormais, Lenovo et Acer en tête, avec des livraisons effectives depuis le 8 septembre 2026 (source : shattered.io). Une preview de CUDA 13.4 pour Windows on Arm a été publiée le 22 juillet 2026, et le firmware du DGX Spark a récemment ajouté un certificat de démarrage Windows UEFI — préparant le terrain pour une future version Windows du DGX Spark (source : StorageReview). Mais pour l’instant, Linux reste la voie royale. À noter que les premiers tests de la partie CPU du N1X, publiés le 16 octobre 2026, confirment que la puce est taillée pour l’IA locale et les créateurs, mais reste tributaire de logiciels encore en chantier (source : lesnumeriques.com).

Enfin, la gamme s’est élargie : NVIDIA a officialisé une déclinaison DGX Spark 64 Go à 4 999 $, toujours sur GB10 et toujours à 1 pétaflop, mais avec la moitié de la mémoire unifiée (source : MarkTechPost, 2 octobre 2026). La commercialisation est fixée au 23 octobre 2026, à partir de 4 999 $ — soit 1 000 $ de plus que le prix de lancement de la version 128 Go en 2025, dans un contexte d’envolée des coûts de la mémoire vive (sources : kod.ru, 3 octobre 2026 et generation-nt.com, 4 octobre 2026). Un arbitrage qui change radicalement le catalogue de modèles accessibles — nous y reviendrons. Le même GB10 est aussi décliné par ASUS sous l’étiquette Ascent GX10 64GB, positionné pour faire tourner des modèles open source de 30 à 35B et des agents IA locaux avec 1 PFLOP de calcul (source : ASUS, 5 octobre 2026) ; les comparatifs de prix, de stockage et de refroidissement entre Ascent GX10 et DGX Spark officiel restent toutefois très différents selon les revendeurs (source : Techgenyz, 5 octobre 2026).

Octobre 2026 : la mise à jour logicielle qui soude l’écosystème

Le fait marquant de cet automne n’est pas matériel : c’est logiciel. Le 21 octobre 2026, NVIDIA a déployé sa DGX Spark Software Updates – October 2026 Release, un lot de mises à jour qui s’applique aussi bien au boîtier DGX Spark qu’aux systèmes partenaires équipés du GB10 Grace Blackwell (source : forums.developer.nvidia.com, 21 octobre 2026). Cette livraison consolide la pile préinstallée — orchestration d’agents, évaluation, déploiement local sécurisé — et aligne les partenaires OEM sur la même base logicielle. C’est un point important pour les acheteurs d’Ascent GX10 ou de mini-PC RTX Spark : la promesse d’un socle commun tient, mais elle dépend désormais du rythme de validation des partenaires.

Neuf jours plus tard, le 30 octobre 2026, NVIDIA a détaillé un workflow edge AI pour DGX Spark et TensorRT Edge-LLM : une procédure en ligne de commande pour exécuter Nemotron-3.5 Lightning sur DGX Spark 64 Go, accompagnée de données de benchmark et de résultats de speculative decoding (source : blockchain.news, 30 octobre 2026). C’est la première fois que la déclinaison 64 Go est documentée officiellement sur un cas d’usage agentique concret — et cela confirme que la moitié de mémoire n’est pas rédhibitoire pour les modèles de classe 30-35B, à condition d’accepter le décodage spéculatif pour compenser la bande passante.

Cette actualité logicielle s’inscrit dans un contexte plus large : le 1er novembre 2026, NVIDIA a mis à jour les spécifications de ses GPU Rubin à mesure que le matériel de production arrive (source : servethehome.com), et le 8 octobre 2026, la DGX Station for Windows a été annoncée avec 748 Go de mémoire cohérente et 20 PFLOPs FP4, pour un lancement au Q4 2026 via six partenaires OEM (source : tech-insider.org). Le DGX Spark n’est donc plus un objet isolé : il devient le bas de gamme d’une famille cohérente, du boîtier de bureau au poste de travail massif.

Unsloth vs Axolotl : deux visions du fine-tuning

Derrière ces deux frameworks se cachent des philosophies radicalement différentes. Unsloth est né sous la plume de Daniel et Michael Han (source : local-llm.net). Leur approche : optimiser chaque opération au niveau du noyau CUDA et Triton. Ils ont réécrit l’attention, la perte cross-entropy, la normalisation RMS et les embeddings RoPE avec une backpropagation manuelle et une fusion d’opérations. Résultat : des gains de vitesse annoncés de 2 à 5× par rapport à la baseline HuggingFace (dev.to), et une réduction mémoire allant jusqu’à 70 % (dev.to). Unsloth version 2026.5.5, sortie le 19 mai 2026, incarne cette quête de performance pure. Elle ajoute notamment le support de GRPO pour l’entraînement de modèles de raisonnement, une fonctionnalité devenue essentielle depuis DeepSeek-R1.

Mais Unsloth a considérablement élargi son périmètre en 2026. Le GitHub officiel montre désormais une application desktop native (Windows, macOS, Linux) et un support étendu : multi-GPU, AMD, Intel, Vulkan, entraînement de modèles de diffusion, TTS, embeddings, et intégration avec Claude Code, Codex et MCP pour les agents. Le fine-tuning n’est plus le seul terrain de jeu : Unsloth permet aussi de servir des modèles via une API compatible OpenAI, de faire du RAG et de la recherche web privée. Une démonstration marquante a eu lieu à l’OpenAI DevDay : gpt-oss-20b a été entraîné avec RL et Unsloth sur DGX Spark pour gagner automatiquement au jeu 2048 (source : Unsloth).

Axolotl, piloté par Wing Lian et une communauté active (source : local-llm.net), adopte une tout autre stratégie. Ici, tout passe par un fichier de configuration YAML. L’utilisateur décrit son modèle, son jeu de données, ses hyperparamètres, et Axolotl orchestre l’entraînement en s’appuyant sur l’écosystème HuggingFace. Pas de kernels custom, mais une flexibilité maximale : support natif du multi-GPU via FSDP et DeepSpeed, multi-node, et une palette de méthodes d’alignement (DPO, ORPO, GRPO, KTO, RLHF, IPO, RM, PRM…). La version 0.16.1, mentionnée en 2026, reste le couteau suisse du fine-tuning, avec un support natif des modèles multimodaux (LLaMA-Vision, Qwen2-VL, Pixtral) et des architectures MoE.

Pour le possesseur de DGX Spark, le choix se résume à un arbitrage : optimiser chaque watt de la machine avec Unsloth, ou exploiter toute la flexibilité d’Axolotl pour des expériences complexes. Mais désormais, des benchmarks concrets sur le Spark permettent de départager les deux — et un troisième larron s’invite dans le débat : les workflows officiels NVIDIA (TensorRT Edge-LLM, Nemotron-3.5 Lightning), qui ne sont pas des frameworks de fine-tuning mais qui fixent désormais le standard d’inférence sur la machine.

Installation et compatibilité : le parcours du combattant ?

C’est ici que le bât blesse. Le DGX Spark tourne sous Ubuntu 22.04 avec des pilotes NVIDIA préinstallés (driver 580.159.03, CUDA 13.0), mais l’architecture ARM (Grace) peut surprendre. Unsloth a anticipé le problème : un Dockerfile officiel est fourni, basé sur nvcr.io/nvidia/pytorch:25.09-py3 (source : build.nvidia.com). Il compile Triton depuis la source (commit c5d671f…), xformers avec TORCH_CUDA_ARCH_LIST=12.1, et installe bitsandbytes==0.48.0, transformers==4.56.2, trl==0.22.2. En pratique, un simple docker build suivi de docker run suffit pour lancer un fine-tuning QLoRA en quelques minutes. Le tutoriel Unsloth détaille la procédure complète, y compris pour le RL sur gpt-oss-20b.

Pour Axolotl, en revanche, l’installation standard via pip install axolotl suppose un environnement CUDA classique (x86_64). Sur ARM, des problèmes de compilation de bitsandbytes ou de flash-attention peuvent survenir. Mais la communauté a réagi : le projet axolotl-dgx-spark (DJLougen) fournit un environnement conda optimisé (axfast) avec torch 2.9.1+cu130 pour aarch64, et une configuration qui résout les problèmes de ptxas (nécessité d’utiliser CUDA 13 pour cibler sm_121a). L’auteur du repo indique qu’il a fallu contourner l’absence de wheel flash-attn pour aarch64/Blackwell en utilisant kernels-community/flash-attn2 via transformers 5.x, ce qui fonctionne et est même 1,4× plus rapide que SDPA. Ainsi, une installation fluide est possible, mais elle demande plus de travail qu’avec Unsloth.

Critère	Unsloth	Axolotl
Dockerfile officiel DGX Spark	Oui (nvcr.io/nvidia/pytorch:25.09)	Non (mais repo communautaire disponible)
Compilation Triton	Automatique (depuis source)	Optionnelle (via Liger kernels)
Installation simplifiée	Très bonne	Bonne avec le repo dédié
Risque de conflits ARM	Faible (testé par NVIDIA)	Modéré (résolu par le repo)

Performances sous la loupe : vitesse et consommation mémoire

Les chiffres parlent d’eux-mêmes, et cette fois des benchmarks sur le DGX Spark existent. Le repo axolotl-dgx-spark a comparé une configuration Axolotl optimisée (flash-attn2 + Liger FLCE/RMSNorm/RoPE + LoRA Triton kernels) face à une configuration naive et face à Unsloth. Résultats :

Axolotl optimisé est 1,83× plus rapide et consomme 3,1× moins de mémoire qu’une configuration naive.
À petit batch, Unsloth est environ 1,45× plus rapide qu’Axolotl optimisé.
Mais en augmentant le micro-batch (mbs32), l’écart se réduit : Axolotl atteint ~82 % de la vitesse d’Unsloth tout en utilisant 38 % de mémoire en moins (33 GiB contre 53 GiB). Comme Axolotl tient un batch plus grand dans la même RAM, à budget mémoire fixe, il peut égaler le débit effectif d’Unsloth.

Ces mesures ont été réalisées sur un DGX Spark (GB10, 121 GB unifiés, driver 580.159.03, CUDA 13.0) avec un modèle Qwen3-0.6B en QLoRA. L’auteur précise que le goulot d’étranglement est la bande passante mémoire (~273 GB/s), pas les FLOPs.

Les benchmarks antérieurs sur A100 (EVAL #003, cité par dev.to) montraient un gain de 1,8× pour Unsloth sur Llama-3.1 8B. Sur le Spark, les gains relatifs d’Unsloth restent significatifs, mais Axolotl optimisé réduit l’écart de manière impressionnante.

Métrique	Unsloth (vs baseline)	Axolotl optimisé (vs baseline)
Gain vitesse (DGX Spark, petit batch)	~1,45×	1,83× (vs naive)
Gain vitesse (DGX Spark, batch moyen)	~1,2× (estimé)	~1,0× (parité effective)
Réduction mémoire (DGX Spark)	60–70 % (annoncé)	3,1× vs naive (soit ~68 %)
Benchmarks sur DGX Spark	Oui (tutoriel officiel, gpt-oss-120b)	Oui (repo GitHub)

Pour un modèle 7B en QLoRA, les besoins VRAM sont d’environ 8 Go (source : promptquorum.com). Avec 128 Go de mémoire unifiée, le DGX Spark peut fine-tuner des modèles bien plus gros – jusqu’à 70B en QLoRA, voire 120B en quantification 4 bits. Le tutoriel Unsloth confirme : gpt-oss-120b utilise ~68 Go en fine-tuning, et après 1 000 étapes et 4 heures d’entraînement par RL, le modèle surpasse largement l’original sur le jeu 2048 (source : Unsloth).

Attention toutefois à la nouvelle déclinaison 64 Go : la falaise du fine-tuning se rapproche dangereusement. Là où la version 128 Go permettait de viser 120B en 4 bits, la version 64 Go ramène la cible pratique aux modèles de 30 à 35B — c’est exactement le positionnement revendiqué par ASUS pour son Ascent GX10 64GB (source : ASUS, 5 octobre 2026). Le workflow TensorRT Edge-LLM publié le 30 octobre 2026 confirme d’ailleurs que Nemotron-3.5 Lightning est la cible privilégiée sur cette configuration (source : blockchain.news).

Les modèles open source qui tournent vraiment sur le Spark

Le catalogue s’est densifié à un rythme soutenu. En tête de gondole, Nemotron-3.5 Lightning s’est imposé comme le cheval de bataille officiel des agents longue durée : c’est le modèle que NVIDIA met en avant dans ses workflows edge (DGX Spark 64 Go + TensorRT Edge-LLM + speculative decoding), ce qui en fait le choix par défaut pour qui veut une pile validée par le constructeur (source : blockchain.news, 30 octobre 2026).

Côté modèles généralistes, Qwen3.8-27B est le dense frugal qui tient sur une seule carte, et NVIDIA a communiqué sur un test Qwen 3.8 27B allant jusqu’à 1,7× sur un ou deux systèmes (source : NeoTeo, 3 octobre 2026). Xiaomi MiMo-V2.6 reste l’outsider chinois qui rebat les cartes, tandis que Laguna S 2.1 (MoE de 118B paramètres) illustre la puissance du format NVFP4 : tenir un MoE de cette taille sur une seule machine devient possible. DeepSeek V4 Flash-0731 (284B paramètres, 13B actifs) reste le géant qui exige un cluster — deux nœuds minimum — et DeepSeek V4.1 complète la famille. Enfin, Ant Ling-3.0-Flash (124B-A5B, sorti le 23 juillet 2026) occupe le créneau intermédiaire.

Un mot sur la concurrence, car elle éclaire les arbitrages : l’AMD Ryzen AI Halo 192GB est arrivé chez Micro Center à 7 299,99 $, devenant le premier desktop compact capable de charger des modèles open-weight de 300 milliards de paramètres ; mais les benchmarks indépendants montrent que le DGX Spark garde l’avantage sur la vitesse (source : techtimes.com, 14 octobre 2026). Autrement dit : plus de mémoire chez AMD, plus de débit chez NVIDIA. Un arbitrage qui comptera pour les équipes qui font du fine-tuning lourd.

Clusters DGX Spark : du rêve à deux têtes au déploiement

C’est le sujet qui a le plus mûri en 2026. Coupler deux DGX Spark via ConnectX-7 pour faire tourner des modèles de plusieurs centaines de milliards de paramètres n’est plus une démonstration de salon : c’est une recette documentée. Les chiffres canoniques sont désormais stables :

2× DGX Spark supporte des modèles jusqu’à 405 milliards de paramètres.
En TP=2 avec vLLM sur DeepSeek-V4-Flash FP8, le cluster atteint ~41 tok/s en single-stream, ~350 tok/s en agrégé à concurrence 32, et ~1 785 tok/s en prefill.
En mono-nœud, antirez ds4 sur DeepSeek-V4-Flash IQ2_XXS plafonne à ~14 tok/s en single-stream pour 410 t/s de prefill — le contraste illustre tout l’intérêt du second nœud.
En llama.cpp GGUF, un modèle 35B-A3B atteint jusqu’à 67 tok/s sur un seul Spark.

Ces mesures dessinent une règle simple : le Spark seul est excellent pour le 30-35B et correct pour le 120B quantifié ; le cluster à deux nœuds est le seuil d’entrée pour le 284B de DeepSeek V4 Flash. Au-delà, les topologies multi-nœuds (jusqu’à 100 nœuds évoqués) relèvent du déploiement d’équipe, avec les pièges classiques de gestion, de refroidissement et de cohérence mémoire unifiée.

Le 29 septembre 2026, Artificial Analysis a publié AA-AgentPerf-Local, un benchmark dédié aux agents locaux, testant au lancement le DGX Spark, le Ryzen AI Halo, le MacBook Pro (M5 Pro) et la RTX 5090, sur 4 modèles open weight (source : Artificial Analysis). C’est la première grille de lecture indépendante et reproductible pour comparer les machines sur des charges agentiques — et non plus sur des tokens par seconde abstraits.

Le fine-tuning sur le Spark en pratique : ce que la stack permet vraiment

Résumons ce que la pile autorise réellement, chiffres à l’appui. Un Spark 128 Go fine-tune confortablement jusqu’à 70B en QLoRA, et jusqu’à 120B en quantification 4 bits (gpt-oss-120b : ~68 Go). Un Spark 64 Go ramène la cible à 30-35B, ce qui reste le cœur du marché des agents locaux. Un cluster 2× Spark repousse la limite à 405B en inférence, et permet le fine-tuning distribué via FSDP/DeepSpeed côté Axolotl.

Le goulot d’étranglement reste la bande passante mémoire (~273 Go/s), pas les FLOPs — d’où l’importance du speculative decoding sur cette machine. Les travaux de 2026 sur le draft fusionné (DSpark, MTP) et la fin du draft model séparé changent la donne : sur une H100, le speedup théorique du décodage spéculatif ne s’applique pas de la même façon que sur le GB10, précisément parce que la mémoire unifiée est le facteur limitant. C’est un point que tout praticien du Spark doit intégrer avant de dimensionner son cluster.

Reste une question ouverte : la DGX Station for Windows (748 Go cohérents, 20 PFLOPs FP4, Q4 2026, six OEM) va-t-elle cannibaliser le haut du marché du Spark ? Probablement pas avant 2027, mais elle fixe déjà la frontière : le Spark est l’entrée de gamme agentique, la Station le poste de travail massif. Et avec la mise à jour logicielle d’octobre 2026 qui aligne tous les partenaires GB10 sur la même base, l’acheteur n’a plus à choisir entre un écosystème NVIDIA officiel et un clone OEM : le socle est commun, seule la mémoire change.

Sources

Article recherché et rédigé automatiquement · Magazine Electrosens

📬 Restez à la pointe

Recevez chaque semaine les nouveautés de ce magazine par email.

💬 Une remarque, une correction ?

Aidez-nous à améliorer cet article. Nous prenons en compte vos retours.

Unsloth vs Axolotl sur DGX Spark : duel des géants du fine-tuning local en 2026