LLM auto hébergées · 13 October 2026

Faire tourner un LLM open-weight sur son PC en 2026 : le guide VRAM par palier, du laptop 8 Go à la station 128 Go

En 2026, la question n’est plus « quel modèle est le meilleur ? » mais « qu’est-ce qui tient dans ma mémoire ? ». Des guides Hugging Face, Spheron et Memeburn jusqu’aux tableaux partagés de r/LocalLLaMA, tout le monde classe désormais par paliers matériels. Voici la carte du territoire, palier par palier, avec ses compromis, ses désaccords et ses vraies zones d’ombre.

Pourquoi la VRAM est devenue le seul vrai critère en 2026

Il y a deux ans, un débutant pouvait encore croire qu’il suffisait de choisir « le meilleur modèle open-weight » et de l’installer. Cette époque est révolue. En 2026, ce qui détermine ce que vous pouvez réellement faire tourner, c’est la quantité de mémoire vidéo (VRAM) ou de mémoire unifiée dont vous disposez. Les guides éditoriaux les plus récents — le billet de Hugging Face sur les modèles open-weight à exécuter en local, le guide par paliers de VRAM de Spheron et le comparatif matériel de Memeburn — ont tous abandonné le classement absolu au profit d’une grille matérielle : 8 Go, 12-16 Go, 24 Go, 48 Go, 96-128 Go. Ce n’est pas un caprice éditorial, c’est le reflet d’un basculement technique profond.

Trois phénomènes expliquent cette bascule. D’abord, l’arrivée massive des modèles à architecture Mixture of Experts (MoE), qui ne chargent qu’une fraction de leurs paramètres à chaque token. Un modèle comme Llama 4 Scout, avec ses 17 milliards de paramètres actifs sur 109 milliARDS au total, change complètement le calcul : ce n’est plus la taille totale qui compte, mais la façon dont elle se répartit. Ensuite, la quantification est devenue un art à part entière. Là où le Q4 était un compromis honteux en 2023, il est aujourd’hui le standard de facto, et des formats comme Q4_K_M ou Q5_K_M délivrent une qualité perçue quasi indiscernable du plein format pour un tiers de la mémoire. Enfin, l’usage a changé : on ne demande plus à un LLM local de réciter des poèmes, mais de servir d’agent autonome, de faire du RAG sur des documents confidentiels, ou d’assister du code hors ligne. Ces tâches exigent du contexte long, donc de la mémoire — beaucoup de mémoire.

La méthode de ce comparatif est simple : confronter les recommandations de la communauté (r/LocalLLaMA, benchmarks partagés) aux guides éditoriaux récents, en signalant les désaccords quand ils existent. Et ils existent, notamment sur la pertinence du palier 16 Go pour les agents, ou sur la supériorité supposée de MLX face à llama.cpp sur Mac. Autant le dire tout de suite : la matière indépendante reste mince sur certains points, et nous le signalerons chaque fois.

8 Go : le laptop d’entrée de gamme qui fait tourner quoi, vraiment ?

Le palier 8 Go, c’est celui du laptop récent avec iGPU, du MacBook Air 8 Go, ou d’une vieille carte graphique recyclée. C’est le palier du « je veux essayer sans investir ». Bonne nouvelle : ça marche. Mauvaise nouvelle : ça marche pour une catégorie très précise de modèles.

Les modèles réellement pertinents à ce niveau sont les petits modèles dense de 3 à 4 milliards de paramètres : Phi-4 Mini, Llama 3.2 3B, Gemma 3 4B. En quantification Q4_K_M — le format de référence pour ce palier —, ils occupent entre 2 et 3 Go, ce qui laisse de la marge pour le contexte et le système. Le format GGUF, expliqué en détail par convly.ai, reste le choix évident : il est supporté par llama.cpp, Ollama et LM Studio, et sa quantification K-quant offre le meilleur compromis taille/qualité du moment.

Côté runtime, llama.cpp et son écosystème dominent sans partage. llama.cpp v0.5.0, sorti fin septembre 2026, a consolidé les backends GPU et amélioré le serveur local, mais l’essentiel reste inchangé : c’est le couteau suisse de l’inférence locale. Ollama et LM Studio ajoutent une couche de confort (téléchargement de modèles en un clic, interface graphique), au prix d’un peu de contrôle en moins.

Que peut-on attendre concrètement ? Sur un laptop 8 Go avec iGPU, comptez quelques tokens par seconde — assez pour de la rédaction assistée, des résumés, des questions-réponses simples. Le contexte tenable se situe autour de 4K à 8K tokens, au-delà duquel la mémoire sature. Sur un Raspberry Pi 5 avec 8 Go, QuelLLM.fr documente des benchmarks de modèles 1-3B via Ollama, avec des débits modestes mais utilisables pour de l’IA embarquée hors ligne. Sur un iGPU AMD Radeon 780M, les mesures Vulkan de 2026 donnent environ 10-12 tok/s pour Llama 3 8B Q4 et 8-11 tok/s pour Mistral 7B Q4_K_M — c’est déjà nettement plus confortable, et l’optimisation Vulkan de llama.cpp a apporté jusqu’à +50 % de gain, dont +12,9 % rien qu’avec le réglage MMVQ.

Ce qui reste hors de portée à ce palier : les agents autonomes, le code complexe, le contexte long. Un modèle 3B ne planifie pas une tâche en dix étapes, ne navigue pas dans un dépôt de 50 000 lignes, ne tient pas une conversation de 32K tokens. Pour ça, il faut monter. Mais pour découvrir l’IA locale, pour un usage occasionnel et confidentiel, 8 Go suffisent — et c’est déjà une victoire.

12-16 Go : le sweet spot des cartes milieu de gamme

C’est le palier dont tout le monde parle, et pour cause : c’est celui où le rapport qualité/prix bascule. Une RTX 5060 Ti 16 Go neuve se négocie autour de 585 $ en 2026, une AMD RX 9070 XT (16 Go GDDR6) entre 690 et 740 $. Pour ce budget, vous entrez dans une autre dimension.

Les modèles qui deviennent accessibles sont les 24B en Q4_K_M : Mistral Small 3.1 24B occupe environ 13 Go et tourne aux alentours de 55 tok/s sur une RTX 5080 ou 5070 Ti. Devstral Small 24B, sa variante orientée code agentique, est cité comme la référence pour les tâches de développement assisté. À côté, les modèles plus petits passent en quantification supérieure : Llama 3.1 8B en Q8 tient dans 9 Go et dépasse les 80 tok/s sur une RTX 4070 Ti 12 Go, tandis que Qwen3 8B se contente de 8 Go. C’est le grand avantage de ce palier : vous pouvez choisir entre « gros modèle en Q4 » et « petit modèle en Q8 », selon que vous privilégiez la qualité brute ou la vitesse et la fidélité.

Le contexte tenable grimpe à 32K-64K tokens, ce qui ouvre la porte au RAG local sérieux et aux conversations longues. Les quantifications Q5_K_M et Q6_K deviennent envisageables sur les modèles 7-14B, avec un gain de qualité perceptible sur les tâches de raisonnement.

Mais c’est aussi le palier où les désaccords communautaires sont les plus vifs. La question qui divise r/LocalLLaMA : 16 Go suffisent-ils pour faire tourner des agents ? La réponse dépend entièrement de ce qu’on appelle « agent ». Pour un agent simple qui enchaîne quelques appels d’outils, oui. Pour un agent qui doit maintenir un contexte de 64K tokens, planifier sur plusieurs étapes et garder en mémoire l’historique complet de ses actions, non — la VRAM explose rapidement. Les guides éditoriaux recommandent ce palier comme « confortable pour l’usage individuel », tandis que les praticiens de la communauté le qualifient souvent de « minimum viable pour les agents légers ». La nuance est importante : ne comptez pas faire tourner un harnais d’agent complet sur 16 Go sans concessions.

Un point souvent négligé : le CPU seul avec 16 Go de RAM système reste une option. Llama 3.2 3B Q8 y tourne autour de 20 tok/s, Phi-4 Mini Q4_K_M autour de 25 tok/s. Mais une RTX 4060 8 Go d’occasion à ~280 $, ou mieux, une RTX 5060 Ti 16 Go neuve, sera 5 à 10 fois plus rapide. Le calcul est vite fait.

24 Go : la RTX 4090/5090 et le plafond des 70B

Le palier 24 Go, c’est celui de la RTX 4090 et de la RTX 5090. C’est aussi le palier de la désillusion pour quiconque espère faire tourner un 70B. La raison est arithmétique : un modèle 70B en Q4_K_M pèse environ 40 Go. Ça ne rentre pas dans 24 Go. Point final. La formule empirique circule partout dans la communauté : 7B@Q4_K_M = 4-5 Go, 70B@Q4_K_M = 40 Go. Aucune quantification magique ne fera tenir 40 Go dans 24.

Alors que fait-on avec 24 Go ? On fait tourner les meilleurs modèles de taille intermédiaire, et on les fait tourner vite. Qwen3.6 27B en Q4_K_M occupe environ 16 Go et affiche 77,2 % sur SWE-bench selon les chiffres cités par promptquorum.com — un score qui, s’il se confirme, place ce modèle au niveau de certains modèles fermés sur les tâches de génie logiciel. DeepSeek-R1 32B en Q4_K_M pèse environ 19 Go et tourne autour de 60 tok/s. Mistral Small 4, présenté en mars 2026 comme un successeur tout-en-un intégrant raisonnement, vision et codage, vient compléter l’offre.

Sur une RTX 4090, les débits grimpent autour de 150 tok/s pour les modèles de taille intermédiaire. Le contexte tenable atteint 64K-128K tokens selon le modèle et la quantification. Les formats EXL2 en 4.0-5.0 bpw deviennent intéressants pour qui utilise ExLlamaV2, avec un contrôle plus fin du compromis taille/qualité que les K-quants GGUF.

La vraie question de ce palier : le gain par rapport à 16 Go est-il réel ou illusoire ? La réponse est nuancée. Pour la rédaction et le code simple, la différence est marginale — un 24B en Q4 sur 16 Go fait déjà très bien le travail. Pour le code agentique, le raisonnement complexe et le contexte long, les 8 Go supplémentaires changent la donne : on peut monter en quantification (Q5_K_M, Q6_K) ou utiliser des modèles plus gros, et surtout on garde de la marge pour le contexte. C’est un gain réel, mais pas un saut de catégorie. Le vrai saut, c’est 48 Go.

48 Go : le no man’s land des doubles GPU et des Mac Studio

Le palier 48 Go est étrange. Il n’existe pas de carte graphique grand public à 48 Go de VRAM. On y accède par trois voies : deux GPU de 24 Go en SLI (configuration de plus en plus rare), un Mac Studio avec 64 Go de mémoire unifiée, ou une RTX 6000 Ada d’occasion (mais son prix reste prohibitif). C’est le palier des bricoleurs et des professionnels.

Ce que 48 Go débloquent : les modèles 70B en Q4_K_M commencent à devenir accessibles. Qwen3 72B Q4_K_M occupe environ 40 Go, DeepSeek-R1 70B Q4 également. Llama 4 Scout, avec ses 17B actifs sur 109B total, nécessite environ 55 Go en Q4 — juste au-dessus de la barre, ce qui en fait un cas limite intéressant : il faut soit 64 Go, soit accepter une quantification plus agressive.

Les runtimes changent aussi à ce palier. llama.cpp reste viable en mono-machine, mais pour le multi-GPU, vLLM et SGLang deviennent les références. ExLlamaV2 avec des quantifications EXL2 en 4.0-5.0 bpw offre un bon compromis. Les contraintes deviennent cependant réelles : bande passante PCIe, consommation électrique, refroidissement. Deux GPU de 24 Go, c’est 700 W à dissiper et une facture d’électricité qui n’est plus anecdotique.

Est-ce le point de bascule coût/bénéfice ? Probablement pas encore. Le prix d’une configuration 48 Go (deux cartes, une alimentation solide, un boîtier bien ventilé) dépasse largement celui d’un Mac Studio 64 Go d’occasion, et les performances par watt ne sont pas au rendez-vous. C’est un palier de transition, pour ceux qui ont déjà du matériel ou des besoins très spécifiques.

96-128 Go : Mac Studio M5 Max, AMD Strix Halo et les 70B confortables

Ici, on change de monde. Le palier 96-128 Go, c’est celui de la mémoire unifiée : Apple M5 Max avec 128 Go, AMD Strix Halo avec 64 à 128 Go selon configurations (bande passante mémoire de 256 Go/s, bus 256 bits), ou des configurations 4×24 Go. C’est aussi le palier où les 70B deviennent confortables.

Llama 3.3 70B en Q4_K_M occupe environ 40 Go et tourne autour de 12-15 tok/s sur un Mac Studio M5 Max, selon les chiffres cités par promptquorum.com. C’est lent, mais c’est utilisable — et surtout, c’est dans un boîtier silencieux qui consomme une fraction de ce que consommerait une station GPU équivalente. Qwen3 72B en Q5 ou Q6 devient envisageable, avec un gain de qualité perceptible. DeepSeek-R1 70B en Q5 également.

Le contexte tenable grimpe à 128K tokens, voire 1M sur certains modèles optimisés. C’est le palier du RAG sérieux, des agents autonomes qui tiennent la distance, du code assisté sur de gros dépôts. Les runtimes adaptés sont MLX sur Apple Silicon (optimisé pour la mémoire unifiée), llama.cpp en fallback, et vLLM pour ceux qui veulent servir plusieurs utilisateurs.

Les limites sont claires : la bande passante mémoire unifiée (256 Go/s sur Strix Halo) reste très inférieure à celle d’une GDDR7 ou d’une HBM. Un Mac Studio M5 Max ne rivalisera jamais avec une RTX 5090 sur les débits bruts. Mais il peut faire tourner des modèles que la RTX 5090 ne peut tout simplement pas charger. C’est un compromis différent : moins vite, mais plus gros. Et pour beaucoup d’usages — rédaction longue, analyse de documents, agents —, la capacité compte plus que la vitesse.

À noter : GLM-5.3 en 2-bit pèse environ 239 Go, ce qui reste hors de portée même à ce palier. Les modèles vraiment massifs (200B+) nécessitent des configurations comme l’AMD Gorgon Halo (192 Go de mémoire unifiée, cible 200B+) ou l’Acer mini-PC IA (128 Go, jusqu’à 200B annoncés). Le mini-PC AMD Ryzen AI Halo, avec ses 128 Go de mémoire unifiée et son prix de 3 999 $, supporte jusqu’à 120B+.

GGUF, EXL2, AWQ, GPTQ : quel format pour quel palier (et à quel prix en qualité)

Le choix du format de quantification est aussi important que celui du modèle. Voici la carte.

La règle empirique qui circule dans la communauté est simple : 7B@Q4_K_M = 4-5 Go, 70B@Q4_K_M = 40 Go. Pour le reste, il faut calculer. Un modèle 70B en Q4, c’est environ 8,75 Go par paramètre selon la formule citée par promptquorum.com, soit ~39 Go au total. En Q5, on monte à ~48 Go ; en Q8, à ~70 Go.

L’impact sur la qualité perçue est le sujet le plus débattu — et le plus mal documenté. Les benchmarks indépendants par format de quantification restent rares en 2026. Ce qu’on sait : Q4_K_M est généralement considéré comme le point d’équilibre, Q5_K_M apporte un gain perceptible sur les tâches de raisonnement, Q8_0 est quasi indiscernable du plein format mais double l’empreinte mémoire. En dessous de Q4 (Q3, Q2), la dégradation devient franche, surtout sur le code et les mathématiques. Les quantifications 2-bit, comme celle utilisée pour faire tenir GLM-5.3 dans 239 Go, sont des prouesses techniques mais s’accompagnent d’une perte de qualité significative.

llama.cpp, Ollama, LM Studio, vLLM, MLX : le match des runtimes

La version v0.5.0 de llama.cpp, sortie fin septembre 2026, a consolidé son avance sur le solo. Son écosystème — Ollama pour la simplicité, LM Studio pour l’interface graphique — couvre 90 % des besoins individuels. L’astuce qui circule partout : régler --n-gpu-layers 99 pour forcer le déchargement complet sur GPU. Sur une RTX 4070 Ti, cela doublerait la vitesse, passant d’environ 40 à 85 tok/s. Un réglage à connaître.

Pour le serving multi-GPU, vLLM et SGLang dominent. Le Ray Summit 2026 a d’ailleurs co-organisé la première conférence vLLM, signe de la convergence entre infrastructure d’entraînement et d’inférence. TensorRT-LLM reste la référence pour la performance maximale sur NVIDIA, au prix d’une complexité d’installation élevée.

Sur Apple Silicon, MLX est souvent présenté comme supérieur à llama.cpp. Le débat fait rage dans la communauté : MLX exploite mieux la mémoire unifiée et les Neural Engine, mais llama.cpp a l’avantage de la portabilité et d’un écosystème plus large. Pour un Mac Studio M5 Max, les deux sont viables ; le choix dépend surtout de la tolérance à la ligne de commande.

Acheter ou upgrader en 2026 : le verdict palier par palier (et où le cloud gagne encore)

Voici la synthèse en un tableau.

Conseils d’achat. Si vous partez de zéro : commencez par 16 Go. C’est le palier où le rapport qualité/prix est le meilleur, avec des cartes comme la RTX 5060 Ti 16 Go (~585 $) ou la RX 9070 XT (~690-740 $). Si vous avez déjà 8 Go et que vous êtes frustré, passez directement à 24 Go — le saut est plus significatif qu’un passage à 16 Go. Si vous visez les agents et le contexte long, 48 Go ou plus est nécessaire, mais attendez-vous à des compromis sur le prix et la consommation.

Le point de bascule coût/bénéfice face au cloud mérite un calcul honnête. Sur trois ans, une configuration 24 Go (carte ~1 000 $ + le reste du PC) revient à environ 1 500-2 000 $, électricité comprise. Un abonnement API à un modèle frontier coûte typiquement 20-30 $/mois, soit 720-1 080 $ sur trois ans — moins cher, mais avec des limites de tokens et zéro confidentialité. Le local gagne sur la confidentialité, le coût marginal nul (une fois le matériel amorti), les agents autonomes qui tournent en continu, et le fine-tuning LoRA. Le cloud reste imbattable sur la frontière (les modèles fermés les plus récents), le contexte 1M+ et les tâches qui nécessitent une puissance de calcul hors de portée d’un particulier.

Ce que 2027 pourrait changer : l’arrivée de la HBM grand public (qui pourrait débloquer des cartes à 48-64 Go à prix raisonnable), les NPU de plus en plus performants dans les laptops, et les modèles 2-bit qui repoussent les limites de ce qui tient dans une VRAM modeste. La tendance est claire : la mémoire devient le facteur limitant, et tout le monde — constructeurs, éditeurs de runtimes, créateurs de modèles — travaille à la repousser.

En attendant, la règle reste simple : choisissez votre palier de VRAM d’abord, votre modèle ensuite. C’est moins romantique que de rêver au « meilleur LLM », mais c’est ce qui fait la différence entre un projet qui tourne et un qui plante au chargement.

Sources

• Best Open Source and Open-Weight LLM Models to Run Locally in 2026 — Hugging Face
• Best Open-Source LLMs to Self-Host in 2026: VRAM Tier Guide — Spheron
• Best Hardware for Running Open-Source AI Models Locally in 2026 — Memeburn
• Best Local LLMs – August 2026 : r/LocalLLaMA — Reddit
• Configuration matérielle LLM local 2026 : de 8 Go à 70B par VRAM — PromptQuorum
• llama.cpp v0.5.0 in 2026: What Changed, How to Install, Run GGUF & Use the Local API — Gyanaangan
• Modèles GGUF : types de quantification et exécution — Convly
• LLM sur Raspberry Pi 5 : IA locale embarquée — QuelLLM.fr
• Performance LLM sur GPU AMD Radeon 9070XT — QuelLLM.fr
• Best Open-Source Agent Harnesses for Local LLMs in 2026 — MarkTechPost
• GitHub – ggml-org/llama.cpp: LLM inference in C/C++
• LLaMA.cpp 2026 Release: Faster CPU and GPU Inference — FreeAInews
• Ray Summit 2026: RL Post-Training Forces Open-Source AI Infrastructure to Converge — TechTimes
• Plateforme IA locale et LLM open source — QDNA.fr
• Modèles d’IA chinois en 2026 : DeepSeek, Qwen, Kimi, GLM… — Iatrust

Article recherché et rédigé automatiquement · Magazine Electrosens