NVIDIA DGX Spark · 19 October 2026

Qwen 3.5 122B sur DGX Spark : la recette Int4 à 100 tokens/s passée au crible (et ce que l’automne 2026 change vraiment)

Quand un développeur publie une configuration qui fait passer un modèle de 122 milliards de paramètres de 30 à plus de 100 tokens par seconde sur une machine de bureau, toute la communauté retient son souffle. Après six mois de benchmarks, de réglages fins et de collaboration collective, la recette tant attendue est enfin disponible. Mais depuis, l’automne 2026 a rebattu les cartes : un DGX Spark 64 Go plus cher que l’original, une hausse généralisée des prix mémoire, et une vague de modèles MoE qui rendent la question du « meilleur rapport tokens/seconde » plus mouvante que jamais. Voici ce que la recette vaut vraiment, ce qu’elle coûte en qualité, et comment la reproduire chez soi — sans se raconter d’histoires.

Le DGX Spark, ce petit monstre qui défie les serveurs (et son propre prix)

Il y a encore deux ans, faire tourner un LLM de plus de 100 milliards de paramètres chez soi relevait de la pure utopie. Il fallait des serveurs à plusieurs dizaines de milliers d’euros, des refroidissements industriels et une facture électrique à faire pâlir un data center. Puis NVIDIA a frappé fort avec le DGX Spark, cette station de travail de bureau qui tient dans un format comparable à un Mac mini, et qui embarque pourtant de quoi faire tourner des modèles que l’on croyait réservés aux hyperscalers.

Le cœur de la bête, c’est le superchip Grace Blackwell GB10, une architecture qui marie un CPU Grace à 20 cœurs et un GPU Blackwell avec une mémoire unifiée de 128 Go. Cette mémoire partagée, accessible à la fois par le CPU et le GPU sans copie coûteuse, est l’arme secrète du DGX Spark. Là où une carte graphique classique plafonne à 24 ou 48 Go de VRAM, le Spark offre un espace suffisant pour charger des modèles de plus de 100 milliards de paramètres en quantification serrée.

Mais il faut être honnête sur un point que les fiches produit passent sous silence : la mémoire unifiée ne fait pas tout. Le GB10 plafonne à environ 273 Go/s de bande passante, comme le rappelle notre grand banc d’essai 2026 des LLM open source sur GB10. C’est cette donnée — et non les 128 Go — qui décide réellement du débit de décodage. Un modèle dense de 70B activera ses 70 milliards de paramètres à chaque token et se heurtera de plein fouet à ce plafond ; un MoE à faible nombre d’experts actifs passera beaucoup mieux. Gardez ce chiffre en tête pour tout le reste de cet article.

Ce que l’automne 2026 a changé sur le plan tarifaire

La donne commerciale, elle, a bougé — et pas dans le sens de la bonne affaire. Le 2 octobre 2026, NVIDIA a annoncé une déclinaison DGX Spark 64 Go, commercialisée à partir du 23 octobre chez plusieurs constructeurs, à 4 999 dollars. Le même jour, la version 128 Go voyait son prix grimper au-delà des 6 000 dollars sur le marché, selon Clubic et Frandroid. Autrement dit : moins de mémoire, pour plus cher que le tarif de lancement de la version 128 Go en 2025. La cause ? L’envolée des cours de la mémoire (LP)DDR5, documentée par Hardware & Co et Generation-NT.

L’astuce marketing de la version 64 Go, c’est le clustering : NVIDIA insiste sur la possibilité d’empiler deux machines pour dépasser ce qu’un seul modèle 128 Go peut faire. NeoTeo rapporte que NVIDIA détaille les tailles de modèles visées sur un ou deux systèmes, avec un test Qwen 3.8 27B jusqu’à 1,7 fois plus rapide. Nous y revenons plus bas, car c’est précisément là que le Qwen 3.5 122B entre en scène.

Côté écosystème, les déclinaisons fleurissent : l’ASUS Ascent GX10 reprend la même architecture, et des constructeurs comme Acer proposent des mini-PC GB10 à 128 Go, livrés depuis le 8 septembre 2026, à 500 à 1 000 dollars sous le prix NVIDIA. La plateforme, elle, reste identique — et c’est ce qui compte pour la recette qui suit.

Qwen 3.5 122B : le géant qui tient dans une poche

Le modèle qui nous intéresse aujourd’hui, c’est le Qwen 3.5 122B, une bête de 122 milliards de paramètres au total, mais dont seulement 10 milliards sont activés à l’inférence grâce à une architecture MoE (Mixture of Experts). Ce ratio — 122B au total, 10B actifs — est la clé de sa performance : le modèle peut rivaliser avec des géants bien plus imposants tout en ne mobilisant qu’une fraction de ses paramètres à chaque token généré, ce qui le rend théoriquement compatible avec le plafond de bande passante du GB10.

Officiellement référencé sur Hugging Face sous le nom Qwen/Qwen3.5-122B-A10B-GPTQ-Int4, ce modèle est disponible en quantification Int4 dès sa sortie, ce qui le rend immédiatement exploitable sur des machines à mémoire unifiée comme le DGX Spark. Avec 128 Go de RAM unifiée, on peut théoriquement charger le modèle en FP8 (environ 130 Go) ou en Int4 (environ 65 Go), mais c’est cette dernière option qui laisse de la place pour le KV cache et les activations — un point crucial quand on veut pousser le contexte à des centaines de milliers de tokens.

Le positionnement du Qwen 3.5 122B est intéressant : il s’intercale entre les modèles denses comme le Llama 3.3 70B et les très gros MoE. Là où un Llama 70B doit activer ses 70 milliards de paramètres à chaque token, le Qwen 3.5 122B n’en active que 10, ce qui lui confère un avantage théorique de débit considérable. C’est ce qui explique l’engouement de la communauté : un modèle de cette qualité, qui tient dans la mémoire du Spark et qui peut théoriquement dépasser les 100 tokens/s, c’est exactement ce que tout le monde attendait.

La quantification Int4 est ici indispensable. En FP8, le modèle pèse environ 130 Go, ce qui dépasse les 128 Go de mémoire unifiée une fois le KV cache et les overheads pris en compte. En Int4, le poids descend à environ 65 Go, laissant une marge confortable pour le contexte et les activations. Le choix entre AWQ et GPTQ — les deux méthodes de quantification Int4 les plus populaires — fait débat dans la communauté, et nous y revenons en détail.

Un mot de contexte sur la concurrence, car la famille Qwen a beaucoup bougé. Alibaba a sorti Qwen3.8-27B en août 2026, un dense qui tourne à 34-38 tokens/s sur DGX Spark selon les mesures de blog.openzeka.com — et jusqu’à 1,7× plus vite sur deux Sparks selon le test NVIDIA relayé par NeoTeo. Le Qwen3.6-27B, lui, atteignait 28-33 tokens/s en session unique mais grimpait à 136 tokens/s avec 10 agents et un pic de décodage à 163 tokens/s (données 2026). Ces chiffres rappellent une chose : sur GB10, le débit dépend autant du nombre de requêtes simultanées que du modèle. Un « 100 tokens/s » en single-stream et un « 100 tokens/s » agrégé ne veulent pas dire la même chose.

La recette ultime : les réglages précis qui font la différence

C’est ici que les choses deviennent intéressantes. La recette qui fait tourner le Qwen 3.5 122B à plus de 100 tokens/s sur DGX Spark n’est pas tombée du ciel : elle est le fruit de six mois de benchmarks réels, de configuration tweaks et de collaboration communautaire, comme le raconte Dre Dyson sur son blog après avoir publié ses résultats sur Spark Arena, avec un fil de discussion dédié sur le forum développeurs de NVIDIA. Voici les ingrédients essentiels de cette recette, et pourquoi chacun compte.

Le choix de la quantification : AWQ vs GPTQ. Pour ce modèle précis, la communauté a tranché : AWQ (Activation-aware Weight Quantization) offre un meilleur compromis qualité/vitesse que GPTQ. Là où GPTQ minimise l’erreur de quantification sur l’ensemble des poids, AWQ préserve les canaux les plus importants pour l’activation, ce qui donne des scores de qualité supérieurs à débit égal. Sur le Qwen 3.5 122B, la version AWQ est d’ailleurs celle qui est le plus souvent recommandée dans les benchmarks communautaires — même si le dépôt officiel mis en avant reste le GPTQ-Int4, ce qui explique une partie de la confusion dans les retours d’expérience.

Les flags vLLM qui changent tout. La configuration de base de vLLM ne suffit pas. Pour atteindre les 100 tokens/s, il faut activer le speculative decoding avec MTP (Multi-Token Prediction). Concrètement, cela se traduit par le flag suivant :

--speculative-config '{"method":"mtp","num_speculative_tokens":3}'

Ce réglage permet au modèle de prédire plusieurs tokens à la fois, puis de vérifier ces prédictions en une seule passe. Le taux d’acceptation — c’est-à-dire la proportion de tokens prédits qui sont effectivement corrects — est le facteur déterminant. Sur des modèles similaires, les taux d’acceptation MTP observés varient entre 0.77 et 0.90 selon la quantification utilisée, ce qui se traduit par un speedup de 1.5 à 1.8× sur le débit de décodage.

Autres flags essentiels :

• --max-num-seqs : à régler entre 1 et 4 selon l’usage. Pour un usage conversationnel simple, 1 est optimal ; pour du multi-agent, il faut monter — c’est là que le Spark révèle son vrai visage, comme le montrent les 136 tokens/s du Qwen3.6-27B à 10 agents.
• --gpu-memory-utilization : fixé à 0.95 pour laisser un peu de marge au système, mais pas trop.
• --kv-cache-dtype fp8 : réduit la mémoire du KV cache de moitié, permettant des contextes plus longs.

Les variables d’environnement CUDA. Certaines optimisations passent par des variables d’environnement. La plus importante est CUDA_VISIBLE_DEVICES=0 pour forcer l’utilisation du GPU Blackwell du Spark. Selon la configuration réseau, NCCL_P2P_DISABLE=1 peut être nécessaire pour éviter des problèmes de communication dans les configurations multi-GPU, même si ce n’est pas le cas sur un Spark seul.

L’astuce MTP. Le speculative decoding avec MTP est la pierre angulaire de la recette. En permettant au modèle de prédire plusieurs tokens à la fois, on transforme le goulot d’étranglement du décodage séquentiel en un pipeline parallèle. Sur le Qwen 3.5 122B, l’activation de MTP avec 3 tokens spéculatifs est le réglage qui fait passer le débit de 30-40 tokens/s à plus de 100 tokens/s. C’est le même mécanisme qui a été déployé sur le Qwen3.8-Flash-Next GGUF, avec un speedup mesuré de 1.67× et zéro perte de qualité, comme l’a documenté le blog de banandre.com le 2 septembre 2026.

Le piège de la pile d’inférence. Un détail que la recette de Dre Dyson suppose acquis : votre vLLM doit réellement voir le GPU. Sur aarch64, un pip install malheureux installe fréquemment une roue PyTorch CPU-only, et vous vous retrouvez à mesurer des tokens/s sur le CPU Grace. C’est le sujet de notre comparatif des piles d’inférence sur DGX Spark : vérifiez systématiquement que torch.cuda.is_available() renvoie True et que l’architecture cible est bien sm_121 avant de tirer la moindre conclusion sur un débit.

Benchmarks : 100 tokens/s, mais à quel prix ?

Les chiffres publiés par Dre Dyson après six mois de tests sont impressionnants, mais ils méritent d’être examinés avec attention. Voici ce que la recette permet d’obtenir sur un DGX Spark standard :

Ces chiffres sont à prendre avec précaution : ils proviennent d’une source unique (le blog de Dre Dyson) et n’ont pas encore été reproduits de manière indépendante à notre connaissance. Mais ils sont cohérents avec ce que l’on observe sur des modèles similaires. Le Qwen3.8-27B, par exemple, atteint 34-38 tokens/s sur DGX Spark en configuration standard (source : blog.openzeka.com), et le DeepSeek V4 Flash 0731 tourne à 59 tokens/s en multi-agent sur un seul Spark (source : forums.developer.nvidia.com). Un modèle MoE avec seulement 10B de paramètres actifs qui atteint 100+ tokens/s est donc tout à fait plausible — à condition de rester en single-stream ou en faible concurrence.

Le prix à payer est double. D’abord, la température : sous charge soutenue, le boîtier du Spark grimpe à 75-80 °C, ce qui reste dans les limites spécifiées par NVIDIA mais peut inquiéter les utilisateurs qui n’ont pas prévu une ventilation adéquate. Ensuite, la qualité : la quantification Int4 entraîne une dégradation des scores par rapport au FP8 ou à la précision native. Sur des benchmarks comme MMLU ou HumanEval, la perte est généralement de 1 à 3 points par rapport au FP8 — un compromis acceptable pour la plupart des usages, mais qui peut être rédhibitoire pour certaines applications professionnelles.

Un troisième coût, plus insidieux, est apparu cet automne : celui du monitoring. Sans dashboard, impossible de savoir si vos 100 tokens/s tiennent sur la durée ou si vous mesurez un pic après un redémarrage à froid. Notre guide des dashboards open source pour l’inférence sur DGX Spark détaille les quatre candidats et les points de rupture documentés — un investissement qui vaut largement les quelques heures qu’il coûte quand on prétend publier des chiffres reproductibles.

Comparaison : Int4 vs FP8 vs Int8, et face aux autres modèles

Pour bien comprendre où se situe la recette Int4, il faut la comparer aux alternatives. Voici un tableau comparatif basé sur les données disponibles :

Le constat est clair : la quantification Int4 est le seul moyen de dépasser les 100 tokens/s avec un modèle de cette taille sur un seul Spark. Le FP8 est trop gourmand en mémoire pour laisser de la place au KV cache, et le Int8 offre un débit insuffisant pour justifier le gain de qualité.

Face aux autres modèles, le Qwen 3.5 122B en Int4 se positionne très bien. Le Llama 3.3 70B, en comparaison, plafonne à 40-50 tokens/s en Int4 sur le Spark, car il doit activer ses 70 milliards de paramètres à chaque token. Le Mistral Large 2, avec ses 123 milliards de paramètres, est dans une situation similaire. Les gros MoE récents — GLM-5.3 Flash (320B, 18B actifs), Xiaomi MiMo-V2.6 Pro et Flash (poids ouverts sous licence MIT depuis le 22-23 septembre 2026, selon SiliconANGLE et eWeek) — sont les candidats naturels pour faire mieux, mais leur disponibilité en quantification Int4 taillée pour le Spark reste inégale. Et gardez en tête la mise en garde d’eWeek : les gains de reinforcement learning revendiqués par Xiaomi ne sont pas encore répliqués indépendamment.

Les pièges à éviter : quand la recette tourne au vinaigre

Toutes les tentatives de reproduction de cette recette ne se passent pas bien. Voici les erreurs les plus courantes, identifiées par la communauté après des semaines de retours d’expérience.

Le speculative decoding mal configuré. Le flag --speculative-config est capricieux. Si le nombre de tokens spéculatifs est trop élevé (au-delà de 5), le taux d’acceptation chute et le débit s’effondre. Si le modèle spéculatif n’est pas compatible avec le modèle principal (par exemple, un mauvais format de vocabulaire), vLLM peut planter silencieusement ou produire des résultats incohérents. Il est essentiel de vérifier les logs de vLLM pour s’assurer que le MTP est bien activé.

La surchauffe et le throttling. À 75-80 °C en charge soutenue, le Spark reste dans les clous, mais un boîtier mal ventilé ou empilé dans un rack fermé peut déclencher du throttling et faire s’écrouler le débit. Surveillez la température sur la durée, pas seulement au premier run.

La confusion single-stream / agrégé. C’est le piège rhétorique numéro un. Un « 100 tokens/s » en single-stream et un « 100 tokens/s » agrégé à concurrence 32 ne racontent pas la même histoire. Sur deux Sparks en TP=2 avec vLLM et DeepSeek-V4-Flash FP8, on mesure ~41 tokens/s en single-stream mais ~350 tokens/s agrégés à concurrence 32, avec un prefill à ~1 785 tokens/s (données août 2026). Si vous comparez votre résultat à un chiffre publié sans vérifier la concurrence, vous comparez des choux et des carottes.

L’oubli du contexte mémoire. Le KV cache en fp8 aide, mais un contexte de plusieurs centaines de milliers de tokens sur un modèle 122B reste gourmand. Sur deux Sparks, le pool de cache KV partagé atteint 1 105 096 tokens (août 2026) — un chiffre qui n’a rien à voir avec ce qu’offre une machine seule. Ne promettez pas des contextes géants sur un Spark unique sans avoir mesuré.

Clusters, fine-tuning et mises à jour : ce que l’automne 2026 ajoute à l’équation

La recette Int4 est une performance d’inférence. Mais le DGX Spark n’est pas qu’une machine à tokens/seconde, et l’actualité récente mérite d’être intégrée à la réflexion.

Le clustering, vraie force cachée. Deux Sparks changent l’échelle : jusqu’à 405 milliards de paramètres supportés, un pool de KV cache partagé de plus d’un million de tokens, et un débit agrégé qui dépasse largement ce qu’un seul GB10 peut offrir. C’est exactement l’argument que NVIDIA met en avant pour sa version 64 Go : deux petites machines plutôt qu’une grosse. La question mérite d’être posée sérieusement, d’autant que la version 128 Go a vu son prix grimper au-delà de 6 000 dollars. Pour un usage mono-modèle intensif, un 128 Go reste plus simple ; pour du serving multi-agents ou des modèles de plus de 200B, le cluster de deux machines devient la seule voie.

Le fine-tuning local. Les 128 Go de mémoire unifiée ont fait basculer le fine-tuning local dans une nouvelle ère, avec un coût d’accès cloud annoncé à 0,65 $/heure pour comparaison. LoRA et QLoRA passent confortablement sur un Spark pour des modèles de taille moyenne ; le full fine-tuning reste réservé aux petits modèles ou aux configurations multi-machines. L’automne 2026 a toutefois rebattu les cartes côté logiciel, et il faut suivre les releases de près.

Les mises à jour logicielles de juin-juillet 2026. Deux vagues de releases en deux mois, un correctif de juillet qui a fait grincer des dents sur le forum développeurs de NVIDIA, des régressions et des casse d’API signalées : la chronologie réelle des releases DGX Spark de juin-juillet 2026 mérite d’être consultée avant de mettre à jour en production. Noyau, pilotes, firmware, CUDA, NGC et conteneurs : tout ne se vaut pas, et certaines migrations cassent ce qu’elles prétendent accélérer.

Le contexte plus large. Microsoft a présenté le 7 octobre 2026 sa vision d’un Windows « Intelligence Hybride », avec des agents IA locaux et DeepSeek V4 Flash mis en avant — un signe que l’IA locale sur poste de travail devient un enjeu de plateforme, pas seulement de hobby. Et NVIDIA a dévoilé le 8 octobre une DGX Station for Windows à 748 Go de mémoire cohérente et 20 PFLOPs FP4, prévue pour le quatrième trimestre 2026 via six partenaires OEM. Ce n’est pas la même machine, ni le même prix, mais cela dessine la trajectoire : le Spark reste le point d’entrée, la Station le haut de gamme.

Enfin, pour mesurer tout cela de façon comparable, l’outil AA-AgentPerf-Local d’Artificial Analysis, publié le 29 septembre 2026, benchmarke les agents IA locaux sur laptops et workstations, avec des résultats de lancement pour le DGX Spark, le Ryzen AI Halo, le MacBook Pro M5 Pro et la RTX 5090 sur quatre modèles à poids ouverts. C’est aujourd’hui la référence la plus neutre pour situer votre Spark face aux alternatives — et pour vérifier si les 100 tokens/s de la recette tiennent en usage agentique réel, pas seulement en benchmark synthétique.

Sources

• Dre Dyson, « I Tested Every Recipe for Qwen 3.5 122B Int4 on DGX Spark — A Complete Comparative Analysis of Speed, Quality, and What Actually Works » — dredyson.com
• Dre Dyson, « How I Solved the Fastest Qwen 3.5 122B Int4 Recipe on DGX Spark, Tested and Published on Spark Arena » — dredyson.com
• Forum développeurs NVIDIA, fil « Fastest Qwen 3.5 122B Int4 recipe on DGX Spark tested and published on Spark Arena » — forums.developer.nvidia.com
• NVIDIA, « NVIDIA DGX Spark 64GB Gives Developers More Ways to Build and Scale Local AI », 2 octobre 2026 — blogs.nvidia.com
• Clubic, « NVIDIA lance un DGX Spark 64 Go : moins de mémoire, mais une drôle d’astuce pour dépasser le modèle 128 Go », 2 octobre 2026 — clubic.com
• Frandroid, « Nvidia lance le DGX Spark en 64 Go : faut-il acheter deux petits plutôt qu’un gros ? », 2 octobre 2026 — frandroid.com
• NeoTeo, « DGX Spark 64 Go : NVIDIA annonce une configuration », 3 octobre 2026 — neoteo.com
• Generation-NT, « Nvidia DGX Spark 64 Go : moins de mémoire pour plus cher et toujours pour l’IA locale », 4 octobre 2026 — generation-nt.com
• Hardware & Co, « Le DGX Spark se prend une cure de (LP)DDR5 », 2 octobre 2026 — hardwareand.co
• Pause Hardware, « Le DGX Spark perd la moitié de sa mémoire mais conserve son tarif de 4 999 dollars », 2 octobre 2026 — pausehardware.com
• Pyshine, « The Best DGX Spark for Local AI in 2026: LLM Speed, Model Sizes, and Clusters, With Sources », 1er octobre 2026 — pyshine.com
• Artificial Analysis, « AA-AgentPerf-Local: Benchmarking local AI agents on laptops and workstations », 29 septembre 2026 — artificialanalysis.ai
• SiliconANGLE, « Xiaomi introduces MiMo-V2.6 series open-source AI model family », 22 septembre 2026 — siliconangle.com
• eWeek, « Xiaomi MiMo-V2.6 Open Source: Pro, Flash, 9B Models », 23 septembre 2026 — eweek.com
• Forkast, « Xiaomi’s MiMo-V2.6 Ships Open Weights at Frontier-Class Performance », 22 septembre 2026 — forkast.news
• Context Studios, « Matériel pour l’IA locale en 2026 : DGX Spark, Mac Studio M5 Ultra, RTX 5090 et Strix Halo comparés », 24 septembre 2026 — contextstudios.ai
• Blog Openzeka, mesures Qwen3.8-27B sur DGX Spark — blog.openzeka.com
• Banandre, mesures MTP sur Qwen3.8-Flash-Next GGUF, 2 septembre 2026 — banandre.com
• Microsoft, « Building Windows for hybrid intelligence », 7 octobre 2026 — blogs.windows.com
• Tech-Insider, « NVIDIA DGX Station for Windows: 748GB, 20 PFLOPs », 8 octobre 2026 — tech-insider.org
• Hugging Face, dépôt Qwen/Qwen3.5-122B-A10B-GPTQ-Int4 — huggingface.co/Qwen
• Articles internes du magazine : « DGX Spark, les mises à jour de juin et juillet 2026 », « Piles d’inférence sur DGX Spark : le comparatif 2026 », « DGX Spark : le grand banc d’essai 2026 des LLM open source », « Monitoring de l’inférence LLM sur DGX Spark », « LLM open source sur NVIDIA DGX Spark : modèles, clusters, fine-tuning et performances réelles à l’automne 2026 ».

Article recherché et rédigé automatiquement · Magazine Electrosens