LLM auto hébergées · 11 November 2026

Faire tourner des LLM open-weights chez soi sans se ruiner : le guide complet 2026

Fini le temps où exécuter un modèle de langage chez soi relevait du fantasme de geek ou du privilège de data scientist. En 2026, un MacBook à puce M5, un mini PC à mémoire unifiée de 128 Go ou une RTX d’occasion font tourner des modèles qui rivalisaient avec GPT-4 il y a deux ans. Coût des API qui s’envole, confidentialité des données, maturité des modèles compacts et des runtimes : l’inférence locale est devenue une option crédible, voire la plus rationnelle pour des millions d’utilisateurs — à condition de savoir ce qu’on achète, ce qu’on télécharge et sur quoi on le fait tourner.

Il y a trois ans, l’idée de faire tourner un LLM chez soi relevait de la gageure. Les modèles open source étaient des nains face aux géants propriétaires, le matériel nécessaire coûtait une fortune, et l’expérience utilisateur se limitait à des lignes de commande. En 2026, la donne a radicalement changé. Les modèles open-weight ont non seulement rattrapé une partie de leur retard, mais ils ont ouvert la voie à des usages que les API cloud ne permettent pas : la confidentialité totale, la latence minimale, et un coût marginal qui tend vers zéro une fois le matériel amorti. Cet article dresse un panorama complet de ce qui se fait de mieux à l’automne 2026 pour exécuter des LLM localement, sans se ruiner, et avec les bons outils — en distinguant systématiquement ce qui est vérifié de ce qui relève du buzz.

Open-weights vs open-source : ce que « ouvert » veut vraiment dire

Avant de choisir un modèle, un préalable s’impose : comprendre ce que signifie réellement « open ». Comme le rappellent digital-m.fr et QuelLLM.fr, la grande majorité des modèles dits « open » sont en réalité open-weights (à poids ouverts), pas open source au sens strict. Vous pouvez télécharger les poids — les milliards de paramètres qui constituent le « cerveau » — et les faire tourner où vous voulez, mais le code d’entraînement et surtout les données utilisées restent secrets. C’est le cas de Llama, Mistral, Qwen, Gemma, DeepSeek, et des derniers venus comme Kimi K3.

L’open source complet (poids + code + données + licence libre) reste l’exception, avec des projets comme OLMo de l’Allen Institute. Et l’open-data (tout est public, y compris le jeu d’entraînement) est encore plus rare. Cette distinction n’est pas qu’un détail de vocabulaire : elle change ce que vous avez le droit de faire du modèle, ce que vous pouvez vérifier, et le risque juridique que vous prenez en le déployant. En 2026, l’entrée en vigueur progressive des obligations de transparence de l’EU AI Act et la publication de la définition OSAID 1.0 ont encore accentué le fossé entre les modèles vraiment ouverts et ceux qui ne le sont qu’en apparence. Pour le particulier comme pour l’entreprise, c’est la licence qui compte, bien plus que l’étiquette marketing — un point que détaille notre dossier dédié, « Open weights, open source, licences : ce que "ouvert" veut vraiment dire en 2026 ».

Un exemple concret de cette complexité : Mistral Large 4, alias « Le Chonk », dévoilé le 6 octobre 2026. Le champion français annonce un modèle frontière de 1 000 milliards de paramètres entraîné en Europe, dont les poids open-weight doivent être publiés le 27 octobre 2026, comme le rapportent Clubic et Presse-Citron. C’est une excellente nouvelle pour l’écosystème ouvert européen — mais un modèle de cette taille reste, en pratique, hors de portée d’un particulier, et sa licence exacte (droits d’usage commercial, seuils de revenus, restrictions de déploiement) devra être lue à la loupe le jour de la publication. « Open-weight » ne veut pas dire « faites-en ce que vous voulez ».

De Llama 3 à Mistral Large 4 : la course à l’efficacité

L’histoire récente de l’inférence locale se raconte en plusieurs actes. Le premier s’ouvre en avril 2024 avec la publication de Llama 3 (versions 8B et 70B Instruct) par Meta. Ce modèle marque un tournant : pour la première fois, un modèle de classe professionnelle est distribué en open-weight, avec des licences permissives et une communauté d’outils qui s’empare immédiatement de lui. Llama 3 70B Instruct, avec un score composite de 82,5 (moyenne MMLU + HumanEval + MATH + IFEval selon le classement de convly.ai), devient la référence pour ceux qui veulent du sérieux sans dépendre du cloud. Il est suivi en juillet 2024 par Llama 3.1 405B, le premier modèle open-weight de cette taille, qui domine le classement avec un score de 87,4, et par Mistral Large 2 (123B, score 84,2), qui apporte une alternative européenne de poids.

Le deuxième acte se joue en décembre 2024 avec DeepSeek V3. Ce modèle MoE (Mixture of Experts) de 236B paramètres au total (21B actifs) bouleverse les règles du jeu. Son architecture MoE permet de n’activer qu’une fraction des paramètres à chaque inférence, ce qui réduit drastiquement les besoins en calcul et en mémoire. Le score de 86,8 de DeepSeek V3 le place juste derrière Llama 3.1 405B, mais avec un coût d’inférence bien moindre. En janvier 2025, DeepSeek-R1 ajoute une couche supplémentaire : le raisonnement explicite, avec une chaîne de pensée visible, qui atteint 52 % de réussite sur MATH à l’échelle 7B. Ce modèle ouvre la voie à une nouvelle génération de LLM capables de « réfléchir » avant de répondre.

Le troisième acte, en 2025-2026, est celui de la maturité et de l’escalade. Les générations Qwen 3, Llama 4, GLM-5.x et DeepSeek V3.2/V4 prolongent la tendance avec des contextes longs et des capacités agentiques. Llama 4 Scout, par exemple, est cité pour sa capacité à traiter des contextes de 10 millions de tokens, une avancée spectaculaire pour l’analyse de documents volumineux. GLM-5.1 se distingue par sa licence MIT et son excellence en codage agentique, tandis que Qwen 3.5 est recommandé pour le codage sur Mac. La course à la taille des paramètres a cédé la place à une course à l’efficacité : les modèles compacts (7B-14B) atteignent désormais des performances qui étaient celles des modèles de 70B il y a deux ans, comme le montre le score de 77,8 pour Phi-4 (14B).

Mais le fait marquant de l’été 2026, c’est l’arrivée de Kimi K3 de Moonshot AI, publié le 27 juillet 2026 sur Hugging Face. Ce modèle MoE de 2,8 billions de paramètres (2,8T) avec un contexte d’un million de tokens est le plus gros modèle ouvert jamais mis en ligne, comme le rapporte Numerama. Ses poids complets occupent 1,56 To, et la recommandation de 64+ accélérateurs pour l’inférence le réserve à des clusters professionnels, comme le détaille evolink.ai. Surtout, sa licence personnalisée fixe un seuil de 20 millions de dollars de revenus MaaS (Model as a Service) au-delà duquel une licence commerciale est requise, et interdit l’auto-hébergement dans certains cas — une tendance que l’on retrouve aussi chez MiniMax H3, dont les poids ouverts excluent explicitement les développeurs des États-Unis, de l’UE, du Royaume-Uni et de la Corée du Sud du déploiement local, comme le souligne TechTimes. Pour le particulier, ces modèles sont hors de portée matérielle, mais ils montrent que l’open-weight est devenu le champ de bataille stratégique de l’IA, y compris pour les acteurs chinois qui dominent désormais ce segment.

À l’automne 2026, la confrontation la plus intéressante du segment open-weight oppose justement la lignée Kimi (passée en K3.1 Pro) à DeepSeek V4 Pro, un modèle qui joue la carte de l’efficacité et de l’agentique plutôt que celle du gigantisme. Ce duel, que nous détaillons dans un article dédié, « Kimi K3.1 Pro contre DeepSeek V4 Pro : ce qu’on peut vraiment faire tourner chez soi en 2026 (et sur quelle machine) », est révélateur de la bifurcation du marché : d’un côté le pari du contexte massif et de la puissance brute, de l’autre celui de la sobriété matérielle et de la coordination d’agents. Pour qui veut faire tourner un modèle chez soi, c’est la seconde voie qui compte — et c’est aussi celle qui se retrouve dans des projets communautaires comme Strata, ce moteur « overfit » qui prétend faire tourner un MoE de 125 milliards de paramètres sur une RTX 5070 de 12 Go (nous y revenons plus bas, avec les précautions d’usage).

Généraliste, code, agentique : le trio des modèles qui dominent le classement

En 2026, le choix d’un modèle open-weight se structure en trois grandes familles : les généralistes, les spécialistes du code, et les modèles agentiques. Chacune a ses champions, et le choix dépend de votre usage principal.

Les généralistes : la polyvalence avant tout. Le leader du classement composite (MMLU + HumanEval + MATH + IFEval) reste Llama 3.1 405B, avec un score de 87,4. Ce modèle dense, publié en juillet 2024, reste une référence pour les tâches générales de compréhension, de génération et de raisonnement. Derrière lui, DeepSeek V3 (86,8) et Mistral Large 2 (84,2) offrent des alternatives avec des architectures différentes : MoE pour DeepSeek, dense pour Mistral. Qwen 2.5 72B Instruct (83,7) complète le podium, avec un excellent rapport performance/coût. Pour les configurations plus modestes, Qwen 2.5 32B Instruct (79,4) et Phi-4 14B (77,8) sont les meilleurs choix de leur catégorie. Le panorama dressé par koul.io en juillet 2026 confirme que l’écart avec les modèles fermés se resserre, avec des forces et limites désormais bien documentées pour gpt-oss, Mistral, Qwen, DeepSeek et GLM. Le comparatif indépendant Iatrust, mis à jour le 28 septembre 2026, va dans le même sens : le « meilleur » modèle dépend désormais du cas d’usage (chat, code, contexte long ou multimodal) bien plus que d’un classement unique — et pour les modèles chinois en particulier, Iatrust publie une grille de lecture dédiée (DeepSeek, Qwen, Kimi, GLM, MiniMax) qui aide à trancher selon l’usage.

Les spécialistes du code : la précision avant tout. Le codage est un domaine où les modèles open-weight excellent désormais. Les guides de 2026 recommandent des modèles comme Qwen-Coder et DeepSeek-Coder, versions affinées des modèles généralistes pour les tâches de programmation. Ces modèles atteignent des scores HumanEval proches de 90 %, ce qui les rend utilisables en production pour de l’assistance au développement, de la génération de tests ou du refactoring. Leur avantage en local est double : la confidentialité du code (souvent sensible) et la latence réduite pour les itérations rapides. C’est précisément sur ce terrain que se positionne Kimi K3.1 Pro, dont le discours marketing est centré sur le code et l’agentique.

Les modèles agentiques : l’avenir de l’IA locale. La nouveauté 2026, c’est l’émergence de modèles conçus pour l’agentique, c’est-à-dire la capacité à exécuter des tâches complexes en chaîne, en utilisant des outils et en prenant des décisions. Llama 4 Scout est le chef de file de cette catégorie, avec son contexte de 10 millions de tokens qui lui permet de traiter des documents entiers et de coordonner des actions sur de longues séquences. GLM-5.1, avec sa licence MIT, est également très prisé pour le développement d’agents autonomes. Ces modèles nécessitent généralement plus de VRAM et de RAM, mais ils ouvrent des possibilités nouvelles : un assistant qui planifie votre journée, un agent qui analyse un dossier juridique complet, ou un bot qui gère votre boîte mail.

Une nuance importante, toutefois : un modèle agentique ne suffit pas. Depuis le début de l’année 2026, le monde de l’IA ne jure plus que par les « harnais » — ces outils qui supervisent ce qu’un modèle peut ou ne peut pas faire, lui donnent de la mémoire et un accès à des outils externes. La prise de conscience du printemps 2026 est nette : le harnais compte souvent plus que la taille du modèle. Un harnais se décompose classiquement en six piliers (substrat de raisonnement, mémoire, constructeur de contexte, routage de compétences, boucle d’orchestration, couche de vérification). Autrement dit, un modèle 14B bien harnaché peut surpasser un 70B livré nu. C’est un point crucial pour l’inférence locale : investir dans un bon harnais coûte souvent moins cher que d’acheter la VRAM nécessaire à un modèle géant. AWS a d’ailleurs publié le 21 septembre 2026 Strands Harness, un harnais open source à coût en tokens réduit, signe que le mouvement dépasse le seul cercle des hobbyistes.

Les runtimes : le vrai levier de performance (et d’économie)

On compare souvent les runtimes locaux au seul thermomètre des tokens par seconde. C’est passer à côté de l’essentiel : sous le capot, quatre ou cinq architectures de mémoire, de batching et de quantification radicalement différentes expliquent l’essentiel des écarts. Notre dossier « Ollama, LM Studio, llama.cpp, vLLM : le grand écart des runtimes locaux en 2026 » détaille cette généalogie, et notre autopsie de llama.cpp 0.5.0 montre comment ce binaire C/C++ discret est devenu le socle invisible de l’IA locale.

Le printemps 2026 a été particulièrement dense côté runtimes. Selon le changelog de Codersera, Ollama est passé de la 0.23.0 à la 0.24.0 en onze jours, ajoutant le support de Codex App, le speculative decoding MTP de Gemma 4 via le runner MLX, et un sampler MLX retravaillé (le support Claude Desktop, introduit en 0.23.0, a été retiré en 0.23.2 car limité aux modèles Anthropic). vLLM v0.21.0 a stabilisé DeepSeek V4 sur Blackwell avec un nouveau backend TOKENSPEED_MLA et fait respecter les budgets de raisonnement au speculative decoding. llama.cpp a fusionné le support Qwen 3.6 MTP (PR #22673) et livré des prebuilts Windows CUDA 13.1 au build b9196. Côté Apple, MLX 0.31.x couplé à macOS 26.2 a débloqué les Neural Accelerators des puces M5, avec jusqu’à 4× de gain sur le TTFT. LM Studio 0.4.13 a ajouté les prédictions vision parallèles, et la 0.4.14 a promu le speculative decoding MTP en stable.

Ces évolutions ne sont pas cosmétiques. Elles déterminent directement ce que vous pouvez faire tourner sur votre matériel : le speculative decoding ne paie qu’en usage solo (batch size 1), le continuous batching transforme le débit en multi-utilisateurs, et le KV cache reste le poste de dépense mémoire invisible qui décide si votre modèle tient ou déborde. Notre article « Batching continu, speculative decoding, offload : les trois leviers qui changent vraiment le débit d’un LLM local en 2026 » chiffre ces leviers sur matériel grand public. À retenir pour le budget : choisir le bon runtime et les bons réglages peut valoir plusieurs centaines d’euros de VRAM économisés.

Côté Windows, l’autre actualité de l’automne est l’arrivée de Windows ML dans la danse. Selon Microsoft et Techgenyz, Windows ML a ajouté en octobre 2026 un support expérimental de llama.cpp pour les modèles GGUF, une API locale compatible OpenAI, la génération de texte ONNX et de nouveaux outils runtime. Concrètement, cela signifie qu’un PC Windows peut désormais exposer un endpoint local standard sans passer par un binaire tiers — une simplification bienvenue pour les débutants.

8, 16, 24 Go de VRAM — et les mini PC à mémoire unifiée : le guide d’achat 2026

Le choix d’un modèle local dépend avant tout de votre matériel. Voici une grille de lecture claire, basée sur les guides matériels de 2026 et les exigences VRAM réelles.

VRAM / mémoire disponible	Modèles recommandés	Quantification	Mémoire requise (approximative)
8 Go	Phi-4 (14B), Gemma 3 (7B), Llama 3 8B	Q4_K_M	4-5 Go (7B), ~10 Go (13B)
16 Go	Qwen 2.5 32B, Mistral 7B, Llama 3 8B	Q5, Q4	~10 Go (13B), ~12 Go (20B)
24 Go	DeepSeek V3 (MoE), Llama 3.1 70B, Qwen 2.5 72B	Q4, Q5	44-50 Go (70B, hors GPU seul), 24 Go (34B)
24+ Go / mémoire unifiée 128-192 Go	Llama 3.1 405B (en Q4), DeepSeek V3.2, modèles 120B-200B+	Q4, Q5	> 140 Go (70B en 16 bits)

Le palier 8 Go : l’entrée de gamme. C’est le niveau des cartes grand public et des iGPU récents. Un iGPU AMD Radeon 780M, par exemple, atteint environ 10-12 tok/s sur Llama 3 8B Q4 en Vulkan, 8-11 tok/s sur Mistral 7B Q4_K_M et environ 10-12 tok/s sur Qwen 2.5 7B. Deux réglages changent la donne : le passage à Vulkan apporte jusqu’à +50 % de débit, et le réglage MMVQ un gain supplémentaire de +12,9 %. Autrement dit, sur une machine modeste, l’optimisation logicielle vaut souvent plus que l’achat d’une carte.

Le palier 16-24 Go : le sweet spot du particulier. Une carte à 16 ou 24 Go de VRAM fait tourner confortablement les modèles 7B à 32B en Q4/Q5, et c’est là que se situe le meilleur rapport performance/prix pour un usage quotidien. Les modèles 70B en Q4 débordent en revanche largement de la VRAM d’une seule carte (44-50 Go) : il faut soit de l’offload CPU (au prix du débit), soit de la mémoire unifiée.

La mémoire unifiée : le vrai changement de 2026. C’est la grande tendance matérielle de l’année. Les mini PC à mémoire unifiée changent la donne pour qui veut faire tourner de gros modèles sans cluster. L’Acer / AMD Ryzen AI Halo mini-PC propose 128 Go de mémoire unifiée pour 3 999 $, avec un support annoncé jusqu’à 200 milliards de paramètres. L’AMD Gorgon Halo vise 192 Go de mémoire unifiée et des modèles jusqu’à 200B+. Côté Apple, les puces M5 (avec MLX 0.31.x et macOS 26.2) accélèrent nettement le TTFT, et un Mac Studio reste une plateforme de référence pour l’inférence locale de gros modèles quantifiés. Pour un particulier qui veut faire tourner du 70B-120B en local, un mini PC à 128 Go de mémoire unifiée est aujourd’hui souvent plus rationnel qu’une station multi-GPU.

Le cas Strata : le buzz à prendre avec des pincettes. À l’automne 2026, un développeur seul a mis le feu à r/LocalLLaMA avec Strata, un moteur qui promet de faire tourner un MoE de 125 milliards de paramètres sur une RTX 5070 de 12 Go à 60 tokens/s. Notre autopsie dédiée, « Strata : 125 milliards de paramètres sur une RTX 5070 de 12 Go », détaille le mécanisme (offloading hiérarchisé, KV-cache et experts à la demande) et le calcul de plancher qui ne ment pas. La prudence reste de mise : la méthodologie de benchmark manque, et les chiffres relèvent d’un moteur taillé pour une seule paire modèle-machine. Strata illustre surtout une philosophie — les « moteurs overfit » — plus qu’il ne constitue une solution généraliste. À essayer, pas à budgéter.

Le coût réel : quand le local bat-il l’API ?

C’est la question qui décide de tout, et elle mérite un calcul honnête. Le Journal du Net a posé le problème le 14 octobre 2026 : faire tourner une IA sur son propre serveur séduit de plus en plus de dirigeants, mais la rentabilité dépend de deux paramètres — le volume d’usage et le coût du matériel amorti. Pour un particulier, la logique est simple : si vous consommez peu, une API gratuite ou à bas coût reste imbattable ; si vous consommez beaucoup, de façon régulière, et que la confidentialité compte, le local devient vite rentable.

L’argument massue est venu, fin octobre 2026, du monde de l’inférence distribuée. Le 20 octobre 2026, les contributeurs du projet llm-d ont annoncé la version 1.0, un framework open source d’inférence distribuée « production-scale », porté par IBM, Red Hat, Google Cloud, CoreWeave et NVIDIA et gouverné par la Cloud Native Computing Foundation, comme le rapportent PR Newswire, Yahoo Finance et TechTimes. Le chiffre qui fait mal : IBM Research rapporte un coût de 0,11 $ par million de tokens à l’échelle de production, soit environ 11,5× moins cher que les API commerciales. Notre autopsie technique, « llm-d 1.0 : l’inférence distribuée sort du labo », détaille ce que ce chiffre signifie vraiment et pourquoi il ne s’applique pas tel quel à un particulier. Mais le signal est clair : le self-hosting industriel est devenu une alternative économiquement crédible au cloud, et cette pression à la baisse finira par profiter à tout l’écosystème local.

Reste un point souvent oublié : le coût caché du temps. Un modèle local mal configuré, c’est des heures de réglages ; une API, c’est zéro maintenance. Le calcul de rentabilité doit intégrer votre temps, pas seulement vos euros.

Confidentialité, licences et pièges : ce qu’il faut vérifier avant de télécharger

L’argument numéro un du local reste la confidentialité : vos données ne quittent jamais votre machine. C’est décisif pour les professions réglementées, les développeurs travaillant sur du code propriétaire, ou simplement pour qui ne veut pas voir ses conversations servir à entraîner un modèle. Mais la confidentialité a ses limites : un modèle local peut être détourné par injection de prompt. Numerama rapportait le 15 octobre 2026 comment une simple bannière publicitaire a suffi à détourner un agent de navigation s’appuyant sur un LLM — rappel que « local » ne veut pas dire « sûr », et qu’un harnais avec couche de vérification reste indispensable.

Côté licences, trois réflexes : lire la licence avant de télécharger (seuils de revenus, restrictions géographiques, usages interdits), vérifier si le modèle est réellement open-weight ou seulement « open » en marketing, et se méfier des modèles dont les poids excluent des juridictions entières (comme MiniMax H3). Pour un usage personnel, la plupart des licences permissives (Apache 2.0, MIT) ne posent aucun problème ; pour un usage commercial, c’est une autre histoire.

Enfin, un mot sur les outils « clés en main ». Le Journal du Net a testé le 29 septembre 2026 AnythingLLM, qui promet de transformer n’importe quel PC en ChatGPT privé, sans abonnement ni données envoyées dans le cloud. Verdict : l’outil tient sa promesse, à condition d’accepter quelques compromis de configuration. C’est une excellente porte d’entrée pour qui ne veut pas mettre les mains dans llama.cpp.

Conclusion : la bonne question n’est plus « peut-on ? » mais « faut-il ? »

En 2026, faire tourner un LLM open-weight chez soi n’est plus un exploit technique : c’est un choix rationnel, à condition de savoir ce qu’on veut. Pour un usage occasionnel, une API reste plus simple et souvent moins chère. Pour un usage intensif, confidentiel ou latence-critique, le local s’impose — et le matériel comme les logiciels ont mûri au point qu’un mini PC à mémoire unifiée ou un Mac récent suffisent à faire tourner des modèles qui étaient réservés aux datacenters il y a deux ans.

Les trois conseils à retenir : choisissez d’abord votre runtime (llama.cpp, Ollama, LM Studio, vLLM, MLX) en fonction de votre matériel et de votre usage, pas l’inverse ; investissez dans un bon harnais avant d’investir dans de la VRAM supplémentaire ; et lisez les licences avant de télécharger, car « open-weight » ne veut pas dire « open bar ». Le reste — les modèles, les quantifications, les réglages — s’affine avec l’expérience. Et l’écart avec le cloud continue de se resserrer, mois après mois.

Sources

Article recherché et rédigé automatiquement · Magazine Electrosens

📬 Restez à la pointe

Recevez chaque semaine les nouveautés de ce magazine par email.

💬 Une remarque, une correction ?

Aidez-nous à améliorer cet article. Nous prenons en compte vos retours.

2026 : l’année où le LLM a quitté le cloud