LLM auto hébergées · 12 September 2026

LLM open source chez soi en 2026 : le guide complet pour ne pas se ruiner

Fini le temps où exécuter un modèle de langage chez soi relevait du fantasme de geek ou du privilège de data scientist. En 2026, un MacBook M4, un mini PC à mémoire unifiée ou une RTX 3080 d’occasion font tourner des modèles qui rivalisaient avec GPT-4 il y a deux ans. Coût des API qui s’envole, confidentialité des données, maturité des modèles compacts : l’inférence locale est devenue une option crédible, voire la plus rationnelle pour des millions d’utilisateurs.

Il y a trois ans, l’idée de faire tourner un LLM chez soi relevait de la gageure. Les modèles open source étaient des nains face aux géants propriétaires, le matériel nécessaire coûtait une fortune, et l’expérience utilisateur se limitait à des lignes de commande. En 2026, la donne a radicalement changé. Les modèles open-weight ont non seulement rattrapé leur retard, mais ils ont ouvert la voie à des usages que les API cloud ne permettent pas : la confidentialité totale, la latence minimale, et un coût marginal qui tend vers zéro. Cet article dresse un panorama complet de ce qui se fait de mieux en 2026 pour exécuter des LLM localement, sans se ruiner, et avec les bons outils.

Open-weights vs open-source : ce que « ouvert » veut vraiment dire

Avant de choisir un modèle, un préalable s’impose : comprendre ce que signifie réellement « open ». Comme le rappelle digital-m.fr, la grande majorité des modèles dits « open » sont en réalité open-weights (à poids ouverts), pas open source au sens strict. Vous pouvez télécharger les poids — les milliards de paramètres qui constituent le « cerveau » — et les faire tourner où vous voulez, mais le code d’entraînement et surtout les données utilisées restent secrets. C’est le cas de Llama, Mistral, Qwen, Gemma, DeepSeek, et même des derniers venus comme Kimi K3.

L’open source complet (poids + code + données + licence libre) reste l’exception, avec des projets comme OLMo de l’Allen Institute. Et l’open-data (tout est public, y compris le jeu d’entraînement) est encore plus rare. Cette distinction n’est pas qu’un détail de vocabulaire : elle change ce que vous avez le droit de faire du modèle, ce que vous pouvez vérifier, et le risque juridique que vous prenez en le déployant. En 2026, l’entrée en vigueur des obligations de transparence de l’EU AI Act et la publication de la définition OSAID 1.0 ont encore accentué le fossé entre les modèles vraiment ouverts et ceux qui ne le sont qu’en apparence. Pour le particulier comme pour l’entreprise, c’est la licence qui compte, bien plus que l’étiquette marketing.

De Llama 3 à Kimi K3 : la course à l’efficacité

L’histoire récente de l’inférence locale se raconte en trois actes. Le premier acte s’ouvre en avril 2024 avec la publication de Llama 3 (versions 8B et 70B Instruct) par Meta. Ce modèle marque un tournant : pour la première fois, un modèle de classe professionnelle est distribué en open-weight, avec des licences permissives et une communauté d’outils qui s’empare immédiatement de lui. Llama 3 70B Instruct, avec un score composite de 82,5 (moyenne MMLU + HumanEval + MATH + IFEval selon le classement de convly.ai), devient la référence pour ceux qui veulent du sérieux sans dépendre du cloud. Il est suivi en juillet 2024 par Llama 3.1 405B, le premier modèle open-weight de cette taille, qui domine le classement avec un score de 87,4, et par Mistral Large 2 (123B, score 84,2), qui apporte une alternative européenne de poids.

Le deuxième acte se joue en décembre 2024 avec DeepSeek V3. Ce modèle MoE (Mixture of Experts) de 236B paramètres au total (21B actifs) bouleverse les règles du jeu. Son architecture MoE permet de n’activer qu’une fraction des paramètres à chaque inférence, ce qui réduit drastiquement les besoins en calcul et en mémoire. Le score de 86,8 de DeepSeek V3 le place juste derrière Llama 3.1 405B, mais avec un coût d’inférence bien moindre. En janvier 2025, DeepSeek-R1 ajoute une couche supplémentaire : le raisonnement explicite, avec une chaîne de pensée visible, qui atteint 52% de réussite sur MATH à l’échelle 7B. Ce modèle ouvre la voie à une nouvelle génération de LLM capables de « réfléchir » avant de répondre.

Le troisième acte, en 2025-2026, est celui de la maturité et de l’escalade. Les générations Qwen 3, Llama 4, GLM-5.2 et DeepSeek V3.2 prolongent la tendance avec des contextes longs et des capacités agentiques. Llama 4 Scout, par exemple, est cité pour sa capacité à traiter des contextes de 10 millions de tokens, une avancée spectaculaire pour l’analyse de documents volumineux. GLM-5.1 se distingue par sa licence MIT et son excellence en codage agentique, tandis que Qwen 3.5 est recommandé pour le codage sur Mac. La course à la taille des paramètres a cédé la place à une course à l’efficacité : les modèles compacts (7B-14B) atteignent désormais des performances qui étaient celles des modèles de 70B il y a deux ans, comme le montre le score de 77,8 pour Phi-4 (14B).

Mais le fait marquant de l’été 2026, c’est l’arrivée de Kimi K3 de Moonshot AI. Publié le 27 juillet 2026 sur Hugging Face, ce modèle MoE de 2,8 billions de paramètres (2,8T) avec un contexte d’un million de tokens est le plus gros modèle ouvert jamais mis en ligne, comme le rapporte Numerama. Ses poids complets occupent 1,56 To, et la recommandation de 64+ accélérateurs pour l’inférence le réserve à des clusters professionnels, comme le détaille evolink.ai. Surtout, sa licence personnalisée fixe un seuil de 20 millions de dollars de revenus MaaS (Model as a Service) au-delà duquel une licence commerciale est requise, et interdit l’auto-hébergement dans certains cas — une tendance que l’on retrouve aussi chez MiniMax H3, dont les poids ouverts excluent explicitement les développeurs des États-Unis, de l’UE, du Royaume-Uni et de la Corée du Sud du déploiement local, comme le souligne TechTimes. Pour le particulier, ces modèles sont hors de portée matérielle, mais ils montrent que l’open-weight est devenu le champ de bataille stratégique de l’IA, y compris pour les acteurs chinois qui dominent désormais ce segment.

Généraliste, code, agentique : le trio des modèles qui dominent le classement

En 2026, le choix d’un modèle open-weight se structure en trois grandes familles : les généralistes, les spécialistes du code, et les modèles agentiques. Chacune a ses champions, et le choix dépend de votre usage principal.

Les généralistes : la polyvalence avant tout. Le leader incontesté du classement composite (MMLU + HumanEval + MATH + IFEval) reste Llama 3.1 405B, avec un score de 87,4. Ce modèle dense, publié en juillet 2024, reste une référence pour les tâches générales de compréhension, de génération et de raisonnement. Derrière lui, DeepSeek V3 (86,8) et Mistral Large 2 (84,2) offrent des alternatives avec des architectures différentes : MoE pour DeepSeek, dense pour Mistral. Qwen 2.5 72B Instruct (83,7) complète le podium, avec un excellent rapport performance/coût. Pour les configurations plus modestes, Qwen 2.5 32B Instruct (79,4) et Phi-4 14B (77,8) sont les meilleurs choix de leur catégorie. Le panorama dressé par koul.io en juillet 2026 confirme que l’écart avec les modèles fermés se resserre, avec des forces et limites désormais bien documentées pour gpt-oss, Mistral, Qwen, DeepSeek et GLM.

Les spécialistes du code : la précision avant tout. Le codage est un domaine où les modèles open-weight excellent désormais. Les guides de 2026 recommandent des modèles comme Qwen-Coder et DeepSeek-Coder, qui sont des versions affinées des modèles généralistes pour les tâches de programmation. Ces modèles atteignent des scores HumanEval proches de 90 %, ce qui les rend utilisables en production pour de l’assistance au développement, de la génération de tests ou du refactoring. Leur avantage en local est double : la confidentialité du code (souvent sensible) et la latence réduite pour les itérations rapides.

Les modèles agentiques : l’avenir de l’IA locale. La nouveauté 2026, c’est l’émergence de modèles conçus pour l’agentique, c’est-à-dire la capacité à exécuter des tâches complexes en chaîne, en utilisant des outils et en prenant des décisions. Llama 4 Scout est le chef de file de cette catégorie, avec son contexte de 10 millions de tokens qui lui permet de traiter des documents entiers et de coordonner des actions sur de longues séquences. GLM-5.1, avec sa licence MIT, est également très prisé pour le développement d’agents autonomes. Ces modèles nécessitent généralement plus de VRAM et de RAM, mais ils ouvrent des possibilités nouvelles : un assistant qui planifie votre journée, un agent qui analyse un dossier juridique complet, ou un bot qui gère votre boîte mail.

8, 16, 24 Go de VRAM — et les mini PC à mémoire unifiée : le guide d’achat 2026

Le choix d’un modèle local dépend avant tout de votre matériel. Voici une grille de lecture claire, basée sur les guides matériels de 2026 et les exigences VRAM réelles.

Le palier 8 Go : l’entrée de gamme. C’est le niveau des cartes grand public (RTX 3060 12 Go, RTX 4060 Ti 8 Go, ou les MacBook M3/M4). Avec 8 Go de VRAM, on peut faire tourner des modèles de 7B à 14B en quantification Q4 ou Q5. Phi-4 (14B) est le meilleur choix de cette classe, avec un score composite de 77,8. Gemma 3 (7B) est une alternative légère, et Llama 3 8B reste un bon polyvalent. Pour les utilisateurs de Mac, un M3 Pro avec 150 Go/s de bande passante mémoire peut charger des modèles 7B en 4-5 Go de mémoire unifiée, avec des vitesses de 10-15 tokens/s sur les modèles 70B Q4/Q5 (si la RAM le permet, comme sur le M4 Max à 128 Go).

Le palier 16 Go : le sweet spot. Avec 16 Go de VRAM, on accède à des modèles de 20B à 32B en quantification Q4/Q5. Qwen 2.5 32B Instruct (score 79,4) est le meilleur choix de cette catégorie, et il fonctionne bien sur une carte de 24 Go en Q5, mais il peut être compressé en Q4 pour tenir sur 16 Go avec une légère perte de qualité. Les modèles 13B en Q8 ou 20B en Q4 tiennent confortablement dans 16 Go. C’est le palier idéal pour les utilisateurs qui veulent un bon compromis entre qualité et coût.

Le palier 24+ Go : le territoire des gros modèles. Avec 24 Go (RTX 4090, RTX 5090, ou des configurations multi-GPU), on peut charger des modèles de 70B en Q4, comme Llama 3.1 70B ou DeepSeek V3 (MoE). La VRAM requise pour un modèle 70B en Q4 est de 44 à 50 Go, ce qui nécessite soit une carte 48 Go (comme certaines pro), soit une configuration multi-GPU. DeepSeek V3, avec son architecture MoE, est particulièrement adapté à cette contrainte : il ne nécessite que 21B de paramètres actifs, ce qui réduit la mémoire vive nécessaire à l’inférence. Pour les configurations les plus extrêmes, Llama 3.1 405B en Q4 demande plus de 100 Go de VRAM, ce qui est réservé aux clusters ou aux serveurs dédiés.

La nouvelle voie royale : les mini PC à mémoire unifiée. En 2026, une alternative de plus en plus crédible à la tour GPU s’impose : les mini PC à mémoire unifiée. Portée par les APU AMD Strix Halo (16 cœurs Zen 5, GPU RDNA 3.5, 256 Go/s de bande passante LPDDR5X), cette génération permet de faire tourner des modèles de 70B à 120B en 4-bit dans un boîtier d’un litre. Le Ryzen AI Halo officiel, avec 128 Go de mémoire unifiée, supporte les modèles 120B+ pour 3999 $, tandis que l’entrée de gamme Strix Halo (64-128 Go) démarre à 1500 $ et couvre déjà les modèles 70B-120B en 4-bit. La nouvelle génération Gorgon Halo va encore plus loin avec 192 Go de mémoire unifiée et le support annoncé de modèles 200B+. Côté Apple, le M4 Ultra (546 Go/s, 128 Go maximum) reste une référence pour l’inférence locale, comme le détaille notre dossier sur les mini PC à mémoire unifiée. Le coût total de possession est souvent inférieur à celui d’une tour GPU équivalente, surtout si l’on prend en compte la consommation électrique.

GGUF, AWQ, GPTQ : la compression qui fait tourner les géants

La quantisation est la pierre angulaire de l’inférence locale. Elle consiste à réduire la précision numérique des poids du modèle (de 16 bits à 8, 4 ou même 3 bits) pour diminuer la mémoire nécessaire et accélérer le calcul. En 2026, les formats dominants sont GGUF, AWQ et GPTQ.

GGUF est le format de llama.cpp, l’outil de référence pour l’inférence sur CPU et GPU. Il est très flexible, avec des niveaux de quantisation variables (Q2, Q3, Q4, Q5, Q6, Q8) qui permettent de trouver le juste équilibre entre taille et qualité. Pour un modèle 13B, la VRAM requise passe d’environ 10 Go en Q8 à environ 10 Go en Q4 — le gain est surtout significatif pour les grands modèles. Le format GGUF est aussi compatible avec Ollama, ce qui le rend accessible aux débutants.

AWQ (Activation-aware Weight Quantization) est une technique plus récente qui prend en compte les activations du modèle pour choisir quels poids quantifier plus finement. Elle offre une meilleure préservation de la qualité pour les modèles de raisonnement, comme DeepSeek-R1. AWQ est souvent utilisé avec les frameworks d’inférence plus lourds comme vLLM, qui sont optimisés pour la production multi-utilisateurs.

GPTQ est une autre méthode de quantisation, populaire pour les GPU NVIDIA, qui offre des vitesses d’inférence élevées. Il est souvent utilisé avec les modèles de code, comme Qwen-Coder, où la rapidité est cruciale.

L’impact réel de la quantisation sur la perplexité (une mesure de la qualité du modèle) est faible pour les niveaux Q4 et Q5, mais devient plus visible à Q2/Q3. Pour la vitesse, les gains sont spectaculaires : un modèle 70B en Q4 peut tourner à 10-15 tokens/s sur un M4 Max, alors qu’en 16 bits, il faudrait plus de 140 Go de VRAM, ce qui est hors de portée du grand public. Le choix du niveau de quantisation dépend donc du matériel et de l’usage : Q4 pour un bon compromis, Q5 pour une qualité optimale, Q3 pour les configurations très limitées. Les techniques récentes comme TurboQuant (3-bit) permettent même de réduire le KV cache d’un modèle 8B à 128K de contexte de 10-20 Go à 2-4 Go, une avancée majeure pour les très longs contextes.

Ollama, llama.cpp 2026 et l’arsenal du petit serveur local

L’écosystème logiciel a mûri de manière spectaculaire. En 2026, il existe plusieurs runtimes d’inférence, chacun adapté à un usage spécifique. Le comparatif est clair : Ollama pour la simplicité, llama.cpp pour le contrôle, vLLM pour la production.

Ollama est l’outil de référence pour débuter. Il est disponible sur macOS, Windows et Linux, et permet d’installer et de lancer un modèle en une seule commande : ollama run llama3. Il gère automatiquement la quantisation, le téléchargement des modèles, et offre une API compatible OpenAI, ce qui facilite l’intégration avec les applications existantes. La comparaison menée par alexitauzin.com en août 2026 montre que LM Studio offre une interface graphique plus riche et des options de configuration avancées, mais Ollama reste plus léger et plus rapide à mettre en place. Un comparatif plus large, publié sur MachineLearningMastery en juillet 2026, confirme qu’Ollama est le meilleur choix pour la plupart des utilisateurs, tandis que llama.cpp séduit les puristes et vLLM les déploiements de production.

llama.cpp est l’outil des puristes. Créé en mars 2023, ce projet open source a connu une refonte majeure en avril 2026, fusionnée dans la branche principale presque sans tambour ni trompette. Comme le détaille notre article dédié, cette réécriture a supprimé plus de 11 000 lignes d’intrinsèques et redessiné l’inférence locale autour de trois piliers : un générateur de kernels, un KV cache contigu et un dispatch unifié. Les gains mesurés sont spectaculaires : 2,1x sur les modèles 70B quantifiés, 1,4x sur les modèles 7B. La portabilité sur CPU s’est aussi améliorée, ce qui rend les modèles 7B-14B utilisables même sans GPU dédié. Ollama, vLLM et SGLang s’adaptent progressivement à cette nouvelle architecture, mais à des rythmes différents — il faut vérifier la compatibilité de votre runtime préféré avant de migrer.

vLLM reste le choix des déploiements multi-utilisateurs et des API locales. Optimisé pour la production, il gère le batching, la continuité des requêtes et offre des performances élevées sur GPU NVIDIA. Pour un usage personnel, il est souvent surdimensionné, mais il devient pertinent dès que plusieurs personnes utilisent le même serveur.

Le décodage spéculatif : le coup de pouce gratuit. Une technique s’est imposée en 2026 pour doubler la vitesse de génération sans dépenser un euro : le décodage spéculatif. Le principe est simple : un petit modèle « draft » propose des tokens, un gros modèle les vérifie en parallèle. Comme l’explique notre article sur le sujet, les gains mesurés varient entre 1,4x et 2x selon les modèles et les configurations. llama.cpp, vLLM et SpecForge ont démocratisé la technique, et il est désormais possible de monter son setup en quelques commandes. Les pièges à éviter : la latence (si le draft est trop lent, le gain s’évapore), la mémoire (il faut charger deux modèles) et le choix du draft (il doit être suffisamment aligné avec le gros modèle).

Conclusion : le local est devenu la norme, pas l’exception

En 2026, faire tourner des LLM open-weight chez soi n’est plus un exploit, c’est une décision rationnelle. Les modèles compacts rivalisent avec les géants d’il y a deux ans, les mini PC à mémoire unifiée ont démocratisé l’accès aux modèles 70B-120B, et les outils comme Ollama ou llama.cpp ont atteint une maturité qui les rend accessibles à tous. Les licences restent le point de vigilance principal — open-weights ne veut pas dire open source, et certains modèles comme Kimi K3 ou MiniMax H3 imposent des restrictions géographiques ou commerciales. Mais pour l’immense majorité des usages personnels et professionnels, l’inférence locale est devenue la voie la plus sûre, la plus privée et la plus économique. Il ne vous reste plus qu’à choisir votre modèle, votre matériel, et à lancer la commande.

Sources

• LLM open-weights : Llama, Mistral, Qwen et le vrai sens du mot « open source » — digital-m.fr, juin 2026
• Open-weights ou open-source ? La différence qui compte — QuelLLM.fr, août 2026
• Meilleurs LLM open source 2026 : forces et limites — Koul, juillet 2026
• C’est parti : les poids de Kimi K3, plus gros modèle IA ouvert au monde — Numerama, juillet 2026
• Exécuter Kimi K3 en local : matériel et coûts — Evolink, juillet 2026
• MiniMax H3 Open Weights Exclude US, EU, UK, and Korea — TechTimes, août 2026
• Ollama vs LM Studio : lequel choisir pour une IA locale ? — Alexitauzin, août 2026
• Ollama vs. LM Studio vs. llama.cpp: Which Local AI Runtime Should You Use in 2026? — MachineLearningMastery, juillet 2026
• The Complete Guide to Local LLM Inference Tools in July 2026 — dev.to, juillet 2026
• Test du GEEKOM IT13 Max : nous en avons fait le cerveau de la maison — BeGeek, août 2026
• LLM Local : le Guide Complet pour les entreprises — SovreAI, juillet 2026
• IA Locale Vs Cloud En 2026 — Lumière sur Gaia, août 2026

Article recherché et rédigé automatiquement · Magazine Electrosens