LLM auto hébergées · 16 August 2026

Décodage spéculatif : la technique qui double la vitesse de vos LLM locaux sans dépenser un euro

Votre RTX 3090 peine à générer 15 tokens par seconde sur un modèle 70B ? Et si la solution n’était pas d’acheter un GPU à 3 000 €, mais de faire travailler deux modèles ensemble — un petit qui propose, un gros qui dispose ? En 2026, le décodage spéculatif s’est imposé comme l’astuce la plus rentable de l’inférence locale, et les outils open source la rendent enfin accessible à tous. Voici comment en profiter dès ce week-end.

Le coup de pouce gratuit : pourquoi le décodage spéculatif explose en 2026

Il y a un paradoxe fascinant dans le monde des LLM open source. D’un côté, les modèles n’ont jamais été aussi puissants : en juillet 2026, Moonshot AI a publié les poids complets de Kimi K3, un MoE de 2,8 trillions de paramètres avec un contexte d’un million de tokens — le plus gros modèle ouvert jamais mis en ligne. De l’autre, le matériel grand public plafonne : une RTX 3090 d’occasion offre 24 Go de VRAM, une RTX 4090 pousse à 24 Go aussi, et les puces Apple Silicon M4 Max culminent à 128 Go de mémoire unifiée avec une bande passante de 546 Go/s. Pour faire tourner un modèle 70B en Q4, il faut 44 Go de VRAM — soit deux GPU ou une machine à plusieurs milliers d’euros.

C’est dans cet entre-deux que le décodage spéculatif a trouvé son terrain de jeu. Né en 2023 dans un article de Google DeepMind (attribué à Leviathan et al.), il est resté longtemps une curiosité de laboratoire. Mais 2026 a tout changé : les frameworks d’inférence ont intégré la technique de manière native, des papiers de recherche ont affiné le mécanisme, et des modèles comme DeepSeek DSpark l’ont propulsé sous les projecteurs. Résultat : une accélération de 2 à 3 fois sur du matériel existant, sans un euro de dépense supplémentaire.

Pourquoi maintenant ? Parce que la bande passante mémoire est devenue le goulot d’étranglement dominant. Un modèle 70B en précision 16 bits exige environ 140 Go de VRAM ; en Q4, il faut encore 44 Go. Générer un token, c’est déplacer tout le modèle depuis la mémoire vers les cœurs de calcul — et c’est là que tout se joue. Le décodage spéculatif ne réduit pas la quantité de données à déplacer par token, mais il augmente le nombre de tokens produits par passage. C’est une optimisation orthogonale à la quantification, au batching et à toutes les autres astuces classiques. Et elle se combine avec elles.

Un petit modèle qui propose, un gros qui dispose : le mécanisme de la vérification parallèle

Fermez les yeux et imaginez un relecteur expérimenté (le grand modèle) qui doit écrire un texte. À chaque phrase, il pourrait réfléchir mot après mot — c’est le décodage autorégressif classique, lent et séquentiel. Le décodage spéculatif lui adjoint un stagiaire rapide (le petit modèle draft) qui propose d’un trait 4 à 8 tokens plausibles. Le relecteur examine la proposition d’un seul coup d’œil, valide ce qui lui convient, corrige le reste. Résultat : au lieu d’un token par passage, on en produit souvent trois ou quatre.

Concrètement, le mécanisme est le suivant. Un petit modèle (généralement ≤7 milliards de paramètres) génère une séquence de N tokens candidats — disons 4 à 8. Le modèle cible (par exemple un 70B) exécute une seule passe avant sur le préfixe suivi de ces N candidats, calculant les distributions de probabilité pour toutes les positions en parallèle. Ensuite, une règle d’échantillonnage par rejet entre en jeu : chaque token candidat x proposé par le draft avec probabilité q(x) est accepté avec une probabilité min(1, p(x)/q(x)), où p(x) est la probabilité du modèle cible. Si un token est rejeté, on échantillonne depuis le résidu normalisé (p−q)₊.

La beauté de cette approche ? Elle garantit mathématiquement que la distribution de sortie est strictement identique à celle du modèle cible seul. Pas d’approximation, pas de dégradation de qualité : la sortie est la même que si vous aviez fait tourner le gros modèle tout seul, en mode autorégressif. C’est ce qui distingue le décodage spéculatif des techniques de distillation ou de quantification, qui modifient le comportement du modèle.

Le coût de la passe de vérification pour N=4 est d’environ 1,2 à 1,5 fois celui d’un pas de décodage normal — car l’attention couvre N+1 positions mais reste limitée par la mémoire. C’est ce surcoût modeste qui rend la technique rentable : si le taux d’acceptation est suffisant, on produit bien plus de tokens par unité de temps.

2x ou 50% ? Démêler le vrai du faux sur les gains mesurés

Voilà le point qui fâche. Selon les sources, le décodage spéculatif accélère l’inférence de « 2 à 3 fois » ou de « 20 à 50 % ». Qui croire ? La réponse tient en un mot : le contexte.

Les gains spectaculaires (2-3x) proviennent de benchmarks soigneusement choisis : un gros modèle (70B) sur un GPU serveur (A100), avec un petit draft bien adapté, sur des tâches factuelles ou du code. Dans ces conditions, le taux d’acceptation atteint 70-85 % (75-80 % sur HumanEval), et avec N=4 tokens spéculés, on traite en moyenne 3,2 tokens par passe avant du modèle cible. Prenons l’exemple chiffré d’un 70B sur A100 : en standard, il génère environ 20 à 30 tokens par seconde, limité par la bande passante HBM. Avec un taux d’acceptation de 80 % et 4 tokens spéculés, on passe à environ 60-90 tokens par seconde — un gain de 3x, cohérent avec les annonces les plus optimistes.

Les gains plus modestes (20-50 %) correspondent à des situations moins favorables : tâches créatives ouvertes (taux d’acceptation de 55-65 %), draft model mal choisi, matériel où la bande passante n’est pas le facteur limitant, ou modèles où la vérification coûte proportionnellement plus cher. Sur une tâche créative avec un taux d’acceptation de 60 % et N=4, on ne gagne que 1,4 token par passe en moyenne — soit un speedup d’environ 40 %.

La leçon ? Ne vous fiez pas aux chiffres bruts. Regardez le taux d’acceptation, la taille du draft, et le matériel. Sur du matériel grand public (RTX 3090, RTX 4090, Apple Silicon), les gains mesurés en 2026 se situent généralement entre 1,5x et 2,5x pour des modèles 7B-70B avec un draft bien choisi. C’est déjà énorme — et c’est gratuit.

llama.cpp, vLLM, SpecForge : le trio qui a démocratisé la technique

Si le décodage spéculatif a mis trois ans à sortir des labos, c’est parce qu’il fallait des implémentations robustes. En 2026, trois acteurs se partagent le terrain.

llama.cpp reste la référence pour le grand public et le matériel modeste. Léger, efficace sur CPU comme sur GPU, il a intégré le décodage spéculatif de manière native, permettant de charger un petit draft model en plus du modèle principal. C’est l’outil idéal pour une RTX 3090 d’occasion ou un MacBook avec puce Apple Silicon. Sa philosophie « contrôle total » plaît aux bricoleurs, mais son interface en ligne de commande peut rebuter les débutants — d’où l’existence de surcouches comme Ollama ou LM Studio qui l’utilisent en interne.

vLLM domine le serving en production. Pensé pour les serveurs multi-utilisateurs, il gère le batching, la pagination du KV cache et le décodage spéculatif avec une maturité impressionnante. C’est l’outil de référence pour déployer des modèles en interne avec une API compatible OpenAI. Son blog technique du 28 juillet 2026 annonce d’ailleurs des travaux sur le « parallel drafting » — une extension qui permettra de générer plusieurs candidats en parallèle, au-delà du simple token unique.

SpecForge est le nouveau venu qui monte. Présenté à l’ICML 2026 (papier arXiv 2603.18567), c’est un framework open source flexible et efficace pour entraîner des draft models spécifiques à votre modèle cible. L’idée : au lieu d’utiliser un petit modèle générique (comme Qwen 2.5 1.5B), vous entraînez un draft sur mesure qui maximise le taux d’acceptation. Les résultats préliminaires montrent des gains supplémentaires de 10-20 % par rapport à un draft générique.

Et il ne faut pas oublier DeepSeek DSpark (juin 2026), qui a fait grand bruit : ce framework open source sous licence MIT, co-développé avec l’Université de Pékin, accélère l’inférence de 60 à 85 % sur DeepSeek-V4-Flash et de 57 à 78 % sur DeepSeek-V4-Pro, avec une augmentation du débit global allant jusqu’à 661 % en trafic réel. Son innovation : une « Markov head factorization » de rang 256 et une génération semi-autorégressive qui améliore le taux d’acceptation de 16 à 31 % sur les modèles Qwen par rapport aux méthodes existantes.

Monter son setup : le guide pas à pas pour doubler votre débit sans toucher au portefeuille

Assez de théorie, passons à la pratique. Voici comment configurer le décodage spéculatif sur votre machine, que vous soyez sous Windows/Linux avec une RTX 3090 ou sous macOS avec une puce M2/M3.

Étape 1 : choisir le bon draft model. La règle d’or : le draft doit être 10 à 50 fois plus petit que le modèle cible. Pour un 70B, un draft de 1.5B à 7B est idéal. Les exemples courants en 2026 incluent les petits modèles Qwen (comme Qwen 2.5 1.5B) ou les versions distillées de la même famille que le modèle cible. L’important est que le draft partage un vocabulaire et un style similaires — un draft entraîné sur du code sera excellent pour des tâches de programmation, médiocre pour de la poésie.

Étape 2 : configurer llama.cpp. La commande est simple : il suffit d’ajouter le paramètre --model-draft avec le chemin vers votre draft model quantifié. Par exemple :

./llama-cli -m /models/llama-3.3-70b-q4_k_m.gguf \
            --model-draft /models/qwen-2.5-1.5b-q4_k_m.gguf \
            -n 256 -t 8

Les paramètres clés à ajuster : --draft-max (nombre de tokens spéculés, souvent 4 à 8) et --draft-min-accept (seuil d’acceptation minimal, souvent 0.5-0.6). Commencez avec 4 tokens spéculés, puis testez 6 et 8 pour voir l’impact.

Étape 3 : configurer vLLM. Pour une utilisation serveur, vLLM expose des options similaires via son fichier de configuration ou la ligne de commande :

python -m vllm.entrypoints.openai.api_server \
    --model /models/llama-3.3-70b \
    --speculative-model /models/qwen-2.5-1.5b \
    --num-speculative-tokens 4

Étape 4 : mesurer et ajuster. Ne vous fiez pas aux impressions. Utilisez les benchmarks intégrés (comme llama-bench pour llama.cpp) pour mesurer les tokens par seconde avec et sans décodage spéculatif. Si le gain est inférieur à 30 %, essayez un draft plus petit, ou réduisez le nombre de tokens spéculés. Si le gain est supérieur à 2x, vous avez trouvé le point idéal.

Étape 5 : pensez à la VRAM. Le draft model occupe de la mémoire. Un 1.5B en Q4 pèse environ 1 Go — négligeable sur une RTX 3090 (24 Go) ou un Mac M4 Max (64-128 Go). Mais si vous êtes à la limite, chaque Go compte. Privilégiez un draft quantifié en Q4 ou Q8 pour minimiser l’empreinte.

Les pièges qui ruinent vos performances : latence, mémoire et mauvais drafts

Le décodage spéculatif n’est pas une baguette magique. Voici les erreurs classiques qui transforment un gain potentiel en déception.

Piège n°1 : un draft trop gros. Un draft de 7B sur un 70B peut sembler raisonnable, mais il double presque la mémoire nécessaire. Sur une RTX 3090 (24 Go) avec un 70B Q4 (44 Go), c’est impossible — il faut de l’offloading CPU, et là, la vitesse s’effondre à environ 0,1 token/s. Restez sur des drafts de 0.5B à 3B pour les très gros modèles.

Piège n°2 : un draft trop lent. Le but est que le draft génère ses 4-8 tokens plus vite que le modèle cible ne ferait un seul token. Si le draft est trop gros ou mal optimisé, la proposition prend plus de temps que la vérification ne gagne. Symptôme typique : le taux d’acceptation est bon, mais le débit global n’augmente pas.

Piège n°3 : la latence ajoutée. Sur du matériel où la bande passante n’est pas le facteur limitant (par exemple un petit modèle 7B sur un GPU rapide), la passe de vérification (1,2 à 1,5 fois le coût d’un pas normal) peut annuler le gain. Le décodage spéculatif brille quand le modèle cible est gros et la bande passante saturée — pas sur les petits modèles.

Piège n°4 : le taux d’acceptation qui chute. Sur des tâches créatives ouvertes (rédaction, brainstorming), le taux d’acceptation tombe à 55-65 %, contre 70-85 % pour le code ou les tâches factuelles. Si votre usage est majoritairement créatif, le gain sera modeste — mais toujours positif.

Piège n°5 : ignorer les benchmarks. Chaque paire (modèle cible, draft model, matériel) a son comportement propre. Ne copiez pas les configurations des blogs sans mesurer. Un benchmark de 5 minutes vous dira si la technique vaut le coup dans votre cas précis.

Décodage spéculatif vs autres astuces : pourquoi c’est le meilleur rapport gain/effort

Comparons rapidement avec les autres techniques d’optimisation disponibles en 2026.

La quantification (Q4, Q8) : indispensable pour faire tenir un gros modèle en VRAM. Elle réduit la précision mais reste la première étape pour tout setup local. Le décodage spéculatif s’y combine parfaitement — il ne change pas la quantification.

La distillation : consiste à entraîner un petit modèle pour imiter un gros. Le résultat est un modèle plus rapide mais différent — pas question de comparer les sorties. Le décodage spéculatif, lui, préserve exactement la distribution du modèle cible.

Le batching : regroupe plusieurs requêtes pour mieux utiliser le matériel. C’est une optimisation de serveur, pas de latence individuelle. Les deux techniques sont complémentaires — vLLM les combine d’ailleurs.

Le parallélisme (tensor parallel, pipeline parallel) : répartit le modèle sur plusieurs GPU. Efficace mais coûteux en matériel. Le décodage spéculatif, lui, ne demande qu’un petit modèle supplémentaire de quelques centaines de Mo.

Le vrai avantage du décodage spéculatif, c’est son coût d’implémentation quasi nul : une ligne de commande dans llama.cpp ou vLLM, et vous avez un gain de 1,5 à 2,5x sans toucher au portefeuille. Aucune autre technique n’offre ce rapport gain/effort en 2026.

Vers des LLM locaux enfin utilisables : ce que cette technique change pour 2027

Le décodage spéculatif n’est pas qu’une astuce de performance — c’est un accélérateur de démocratisation. Avec des gains de 2x sur du matériel grand public, un modèle 70B Q4 sur une RTX 3090 d’occasion (environ 24 Go de VRAM, prix variable sur le marché de l’occasion) passe de 10-15 tokens par seconde à 20-30. Soudain, les assistants personnels, les agents locaux et le traitement de documents deviennent utilisables en temps réel, sans dépendre du cloud.

Les pistes de recherche pour 2027 sont prometteuses. Les travaux de juillet 2026 sur le parallélisme multi-tokens (annoncés par vLLM) pourraient pousser le gain encore plus loin. SpecForge et ses draft models sur mesure devraient se généraliser, rendant la technique encore plus efficace. Et l’approche de DeepSeek DSpark, qui atteint 60-85 % d’accélération sur des modèles existants sans réentraînement, montre que la marge de progression est réelle.

Bien sûr, il faut garder la tête froide. Les gains de 3x annoncés par certains blogs sont des cas idéaux, pas la norme. Mais même un gain de 50 % sur votre setup local, c’est énorme — et c’est gratuit. Alors, ce week-end, ouvrez votre terminal, chargez un draft model, et mesurez. Vous pourriez être surpris.

Sources

• Awesome Speculative Decoding – GitHub
• Speculative Decoding for Local LLMs in 2026: The Setup That Doubles…
• SpeculativeDecodingPapers – GitHub
• Speculative Speculative Decoding – arXiv 2603.03251
• SpecForge: A Flexible and Efficient Open-Source Training… – arXiv 2603.18567
• Parallel All the Way Down: Beyond Single-Token Generation – vLLM blog, 28 juillet 2026
• LLM Inference Optimization in 2026: From vLLM to Speculative Decoding
• ICML Poster SpecForge
• DeepSeek open sources DSpark – VentureBeat
• Local LLM Hardware 2026: What Actually Runs 70B Models
• Local LLM Hardware Requirements 2026: 8GB to 70B by VRAM
• VRAM for 70B Models: Why 16GB GPU Is the Minimum in 2026 – SitePoint
• Running 70B Models Locally — Exact VRAM by Quantization
• What LLM Can I Run on My GPU? 2026 VRAM Tiers – TechFuel HQ
• AIOAPEX – Speculative Decoding: The Inference Trick That Makes LLMs 3x Faster
• Glukhov – Speculative Decoding
• Aratech – Speculative Decoding: Two LLMs Faster Than One
• ActionBridge – LLM Primer: Speculative Decoding
• Briefia – Décodage spéculatif : comment les LLM génèrent du texte 3 fois plus vite

Article recherché et rédigé automatiquement · Magazine Electrosens