LLM auto hébergées · 14 October 2026

Faire tourner des LLM open-source chez soi sans se ruiner : le comparatif 2026 des six runtimes qui comptent

En octobre 2026, faire tourner un LLM chez soi n’est plus un fantasme de geek fortuné : les runtimes open-source ont mûri, les modèles open-weight ont explosé en qualité — jusqu’au géant Kimi K3 de 2,8 billions de paramètres — et le coût du matériel a enfin cessé de grimper. Mais entre Ollama, vLLM, llama.cpp, MLX, LM Studio et FreeToken, le choix peut donner le tournis. Ce comparatif approfondi vous aide à trancher selon votre budget et votre usage, sans vous ruiner.

Octobre 2026 : l’année où l’IA locale a cessé d’être un luxe

Il y a encore deux ans, exécuter un modèle 70B chez soi relevait de la quadrature du cercle : il fallait aligner plusieurs GPU professionnels à plusieurs milliers d’euros, ou se contenter de modèles 7B aux capacités limitées. En 2026, la donne a changé. Les modèles open-weight comme Llama 4 Scout, Gemma 4 E4B, DeepSeek V4 Flash et Mistral Medium 3.5 ont atteint un niveau de qualité qui les rend utilisables pour des tâches réelles, et les runtimes d’inférence ont fait des bonds de géant en matière d’efficacité mémoire.

Le contexte économique a accéléré le mouvement. Les coûts d’API cloud ont continué d’augmenter, poussant de nombreux développeurs et petites entreprises à chercher des alternatives locales. Selon une enquête récente, 45,5 % des décideurs IA citent les coûts élevés comme principale barrière à l’adoption du cloud. Parallèlement, les techniques de quantification se sont affinées : le GGUF en Q4_K_M est devenu un standard de facto — un format dont les types de quantification et les tailles de fichiers sont désormais bien documentés pour Windows, macOS et Linux (convly.ai, 9 septembre 2026) — et des innovations comme TurboQuant promettent de faire tourner des modèles toujours plus gros sur des machines toujours plus modestes.

TurboQuant mérite qu’on s’y arrête, car c’est la brique qui rend crédible toute la promesse du « sans se ruiner ». Dévoilé par Google Research le 24 mars 2026 et présenté à l’ICLR 2026 à Singapour le 25 avril, cet algorithme de quantification vectorielle — développé par Amir Zandieh et Vahab Mirrokni — réduit la mémoire de travail des LLM d’un facteur 6x tout en maintenant une précision quasi intacte (tech-insider.org). Le CEO de Cloudflare, Matthew Prince, l’a qualifié de « moment DeepSeek de Google ». Concrètement, c’est le KV-cache — cette mémoire qui gonfle avec la longueur du contexte — qui est visé : moins de mémoire de travail, c’est la possibilité de tenir des fenêtres de contexte longues sur du matériel modeste.

Et l’actualité de l’été a rebattu les cartes. Le 27 juillet 2026, Moonshot AI a publié les poids complets de Kimi K3 sur Hugging Face : un modèle MoE de 2,8 billions de paramètres avec un contexte d’un million de tokens, sous licence personnalisée avec un seuil de 20 M$ de revenus pour le MaaS. C’est le plus gros modèle open-weight jamais mis en ligne — mais avec 1,56 To de poids et une recommandation de 64+ accélérateurs, il reste hors de portée du particulier. En revanche, DSpark, le framework de décodage spéculatif semi-autorégressif de DeepSeek publié en juillet 2026, promet d’accélérer l’inférence de 60 à 85 % sans réentraînement — une aubaine pour les configurations modestes, et un levier que les équipes d’intégration API commencent à évaluer sérieusement (encorp.ai, 1er septembre 2026).

Enfin, FreeToken a fait une entrée fracassante fin août : ce moteur d’inférence open-source permet d’exécuter des modèles MoE massifs (jusqu’à 753 milliards de paramètres) sur un seul GPU grand public, avec des performances annoncées jusqu’à 3 fois supérieures à Ollama (stork.ai, 29 août 2026). Une révolution pour ceux qui veulent faire tourner des modèles de pointe sans vendre un rein.

Résultat : en octobre 2026, six runtimes dominent le paysage — Ollama, vLLM, llama.cpp, MLX, LM Studio et FreeToken — et chacun a publié des mises à jour majeures qui réduisent la barrière du coût matériel. Mais tous ne se valent pas selon votre profil. C’est ce que nous allons disséquer.

Les six prétendants : Ollama, vLLM, llama.cpp, MLX, LM Studio, FreeToken

Chacun de ces outils a une philosophie différente, née de son histoire et de son public cible. Une distinction fondamentale s’impose d’emblée : Ollama et LM Studio sont des couches d’expérience qui enveloppent des moteurs ; llama.cpp, MLX et FreeToken sont des moteurs purs ; vLLM est un système de service conçu pour la production multi-utilisateurs.

Ollama est le champion de la simplicité. Son installation en une commande, son API compatible OpenAI et sa gestion automatique des modèles en font la porte d’entrée idéale pour les débutants. En mai 2026, Ollama a enchaîné cinq versions point (0.23.0 à 0.23.4) et une version mineure (0.24.0) en seulement 11 jours — un rythme effréné qui montre son dynamisme, mais aussi une certaine frénésie. La version 0.23.1, publiée le 5 mai, a ajouté le décodage spéculatif Gemma 4 MTP via le runner MLX sur Apple Silicon, avec un gain de vitesse de plus de 2x sur les tâches de codage avec Gemma 4 31B. La 0.23.0 avait introduit un support de Claude Desktop, retiré dès la 0.23.2 car limité aux modèles Anthropic — un aller-retour qui illustre les tâtonnements du projet. Depuis le début de l’année, Ollama utilise d’ailleurs le moteur MLX sur Apple Silicon au lieu de l’ancien chemin Metal de llama.cpp — un changement qui, selon les benchmarks internes d’Ollama, double presque le débit de décodage (chiffre constructeur, mais directionnellement réel).

vLLM est le poids lourd de la production. Conçu pour les déploiements multi-utilisateurs sur GPU, il utilise PagedAttention et le continuous batching pour atteindre des débits spectaculaires. Sa version v0.21.0, sortie en mai 2026, a stabilisé DeepSeek V4 sur les GPU Blackwell avec un nouveau backend TOKENSPEED_MLA, et a ajouté le respect des budgets de raisonnement au décodage spéculatif. C’est l’outil des serveurs, des API et des équipes qui ont besoin de concurrence élevée. Il est aussi le runtime de référence pour servir Kimi K3 en auto-hébergement, comme le montrent les guides de déploiement publiés fin juillet. Signe de sa centralité : la première conférence vLLM s’est tenue en parallèle du Ray Summit 2026 à San Francisco, une co-localisation qui traduit la convergence forcée de l’infrastructure open source autour du post-training RL (techtimes.com, 25 août 2026).

llama.cpp est le vétéran fondateur, un moteur C++ sous licence MIT qui a ouvert la voie à l’inférence locale sur CPU et Apple Silicon. En avril 2026, une refonte majeure a été fusionnée dans la branche principale — presque sans tambour ni trompette. Cette réécriture, qui remplace l’ancien noyau ggml par un générateur de kernels, un KV cache contigu et un dispatch unifié, promet des gains de 2,1x sur les modèles 70B et de 1,4x sur les 7B, selon les benchmarks préliminaires. Le projet a depuis franchi un cap symbolique : la version v0.5.0, documentée fin septembre 2026, marque une étape majeure côté backend, modèles et serveur, avec une procédure d’installation clarifiée, la vérification GPU et un llama-server désormais mature pour exposer une API locale (gyanaangan.in, 27 septembre 2026). En mai 2026, il avait fusionné le support Qwen 3.6 MTP (PR #22673) et publié des prebuilts Windows CUDA 13.1 au build b9196. Sa communauté est extrêmement active, avec des améliorations continues — un fil Reddit r/LocalLLM s’intitule d’ailleurs « Llama.cpp is getting better with every update ».

MLX est la solution taillée pour l’écosystème Apple. Développé par l’équipe de machine learning d’Apple, il exploite la mémoire unifiée des puces M-series et les Neural Accelerators. La version 0.31.x, couplée à macOS 26.2, débloque les Neural Accelerators M5 pour un time-to-first-token (TTFT) jusqu’à 4x plus rapide. C’est l’outil de choix pour les possesseurs de Mac. Selon les benchmarks rapportés, le moteur MLX est environ 3 fois plus rapide que le chemin Metal de llama.cpp sur Mac.

LM Studio est l’interface graphique grand public par excellence. Avec son navigateur de modèles Hugging Face intégré et sa configuration en quelques clics, il attire ceux qui veulent éviter le terminal. Les versions 0.4.13 et 0.4.14 de mai 2026 ont ajouté les prédictions vision parallèles et promu le décodage spéculatif MTP en stable. Il propose aussi un serveur OpenAI-compatible sur localhost:1234 et un mode headless pour les déploiements légers.

FreeToken est le nouveau venu qui bouscule le marché. Présenté fin août 2026, ce moteur d’inférence open-source (dépôt GitHub FlashML, article arXiv 2608.16157) vise spécifiquement les modèles Mixture of Experts (MoE) sur GPU grand public. Son approche : faire résider le modèle en RAM système plutôt qu’en VRAM, avec un cache LRU et un double buffering pour minimiser les transferts PCIe. Les benchmarks annoncés font état de performances jusqu’à 3 fois supérieures à Ollama pour les MoE massifs, et la possibilité d’exécuter un modèle de 753 milliards de paramètres sur une seule carte. Des chiffres à prendre avec précaution (voir section Benchmarks), mais qui ouvrent des perspectives alléchantes.

Runtime	Version (octobre 2026)	Philosophie	Public cible
Ollama	0.23.x → 0.24.0	Simplicité maximale, CLI + API	Débutants, prototypage rapide
vLLM	v0.21.0	Performance de production, haute concurrence	Serveurs, API, équipes
llama.cpp	v0.5.0 (réécriture avril 2026)	Moteur C++ fondateur, flexibilité totale	Développeurs, bricoleurs
MLX	0.31.x	Optimisé Apple Silicon, mémoire unifiée	Utilisateurs Mac
LM Studio	0.4.13 / 0.4.14	Interface graphique complète	Grand public, non-techniciens
FreeToken	0.1.x (août 2026)	MoE sur GPU grand public, RAM système	Utilisateurs GPU modestes, MoE massifs

Sous le capot : comment chaque moteur économise votre VRAM

La clé pour ne pas se ruiner, c’est la gestion de la mémoire. Voici comment chaque runtime s’y prend.

llama.cpp est le cœur C++ qui a popularisé la quantification GGUF. Son approche est directe : il charge les poids en mémoire avec la précision la plus basse possible (Q4_K_M est le standard), et peut décharger une partie des couches vers le CPU quand la VRAM manque. Cette flexibilité permet de faire tourner un modèle 70B sur une machine avec 24 Go de VRAM et beaucoup de RAM, au prix d’une latence accrue. La réécriture d’avril 2026 a introduit un KV cache contigu qui réduit la fragmentation mémoire — l’ancien système se dégradait nettement au-delà de 8K tokens de contexte. Le support de TurboQuant (la compression du KV-cache de Google) est en cours d’intégration via un fork non officiel, avec la rotation Hadamard déjà intégrée — de quoi réduire encore la mémoire nécessaire pour les longues fenêtres de contexte.

vLLM utilise PagedAttention, une technique qui découpe le KV-cache en pages et les gère comme la mémoire virtuelle d’un OS. Cela élimine la fragmentation : là où llama.cpp et Ollama perdent par défaut 30 à 50 % de VRAM à cause de la fragmentation du KV-cache, vLLM maintient cette perte sous 4 %. Combiné au continuous batching (qui traite plusieurs requêtes simultanément), cela explique son débit 16 à 20 fois supérieur à celui d’Ollama en concurrence. Mais cette efficacité a un coût : vLLM est plus complexe à configurer et exige un GPU NVIDIA avec une VRAM correcte pour briller.

MLX tire parti de la mémoire unifiée des puces Apple. Sur un MacBook Pro M-series, le CPU, le GPU et les Neural Accelerators partagent la même mémoire, ce qui élimine les copies entre VRAM et RAM. Un modèle 70B en Q4_K_M peut ainsi tourner sur un Mac avec 64 Go ou 128 Go de mémoire unifiée, là où un PC nécessiterait plusieurs GPU. En mai 2026, MLX 0.31.x avec macOS 26.2 débloque les Neural Accelerators M5, réduisant le TTFT jusqu’à 4x. Selon les benchmarks rapportés, le moteur MLX est environ 3 fois plus rapide que le chemin Metal de llama.cpp sur Mac.

Ollama est un wrapper Go qui s’appuie sur llama.cpp (ou MLX sur Apple Silicon depuis la version 0.19 de mars 2026). Il hérite donc des performances de son moteur sous-jacent, mais ajoute une couche de gestion automatique : téléchargement des modèles, choix de quantification, offloading CPU/GPU automatique. C’est une commodité précieuse pour le débutant, mais elle masque les réglages fins que llama.cpp permet.

LM Studio utilise également llama.cpp en interne, mais l’enrobe dans une interface Electron. Il offre un contrôle visuel de l’offloading, de la quantification et du contexte, ainsi qu’un navigateur de modèles intégré. La version 0.4.14 a promu le décodage spéculatif MTP en stable, ce qui accélère significativement la génération sur les modèles qui le supportent.

FreeToken innove radicalement : au lieu de tout charger en VRAM, il fait résider le modèle en RAM système et ne transfère que les experts actifs vers le GPU via un cache LRU. Le double buffering masque la latence des transferts PCIe. Cette approche permet d’exécuter des MoE de plusieurs centaines de milliards de paramètres sur un GPU de 24 Go, à condition d’avoir suffisamment de RAM (64 Go minimum recommandé) et une bande passante PCIe correcte. Le vrai goulot d’étranglement reste la bande passante PCIe et la latence mémoire, comme le soulignent les analyses techniques du projet (freetoken.wiki, 29 août 2026).

Benchmarks : ce que les chiffres disent vraiment

C’est ici qu’il faut redoubler de prudence, car les annonces marketing et les mesures indépendantes divergent souvent.

FreeToken est le cas le plus emblématique. Le « 3x plus rapide qu’Ollama » et le « 753 milliards de paramètres sur un seul GPU » sont des chiffres constructeur, publiés au lancement. Ils reposent sur des conditions précises : un modèle MoE dont seuls quelques experts sont actifs à chaque token, une RAM système abondante et une bande passante PCIe généreuse. Sur un modèle dense, ou sur une machine avec peu de RAM, l’avantage s’effondre. La promesse est réelle mais conditionnelle — et c’est précisément ce que documente l’autopsie du projet : le gain vient de l’architecture MoE, pas d’une magie universelle.

llama.cpp affiche des gains de 2,1x sur les 70B et 1,4x sur les 7B après la réécriture d’avril 2026. Ces chiffres sont des benchmarks préliminaires de la communauté, directionnellement fiables mais dépendants du matériel. La version v0.5.0 a surtout consolidé ces acquis et clarifié l’outillage serveur.

vLLM reste le champion incontesté de la concurrence : 16 à 20x le débit d’Ollama en multi-requêtes. Mais en usage mono-utilisateur, l’écart se réduit fortement, et la complexité de configuration n’est pas rentabilisée.

MLX revendique un TTFT jusqu’à 4x plus rapide avec les Neural Accelerators M5, et environ 3x le débit du chemin Metal de llama.cpp. Ces chiffres sont cohérents avec l’avantage structurel de la mémoire unifiée, mais ils concernent exclusivement l’écosystème Apple.

Ollama communique sur un doublement du débit de décodage grâce au passage à MLX sur Apple Silicon. C’est un chiffre constructeur, mais la direction est confirmée par les retours d’usage.

La leçon : aucun de ces chiffres n’est faux, mais aucun n’est universel. Un benchmark n’a de sens qu’avec le modèle, la quantification, le matériel et le type de charge de travail. Pour un usage réel, testez vous-même sur votre machine avec votre modèle.

Le vrai critère : la VRAM (et la RAM)

En 2026, la question n’est plus « quel modèle est le meilleur ? » mais « qu’est-ce qui tient dans ma mémoire ? ». Voici les paliers qui comptent, du laptop d’entrée de gamme à la station de travail.

8 Go de VRAM : c’est le laptop d’entrée de gamme. Vous y ferez tourner confortablement des modèles 3B à 7B en Q4_K_M. Les modèles sous 7B ne sont plus des jouets : distillation, MoE compactes, GQA et quantification native les rendent réellement utiles pour la rédaction, la synthèse et le code simple. Un 3B bien choisi écrase souvent un 70B mal servi.

12-16 Go de VRAM : le sweet spot des cartes milieu de gamme. Un 13B-14B en Q4_K_M y tourne sans offloading, et un 7B en Q8 y est confortable. C’est le palier où l’IA locale devient réellement productive au quotidien.

24 Go de VRAM : la RTX 4090/5090 et le plafond des 70B. Avec 24 Go, un 70B en Q4_K_M tient en partie, avec offloading partiel vers la RAM. C’est là que llama.cpp et son KV cache contigu brillent, et que la fragmentation mémoire devient un facteur limitant.

48 Go : le no man’s land des doubles GPU et des Mac Studio. Configuration puissante mais souvent surdimensionnée pour un usage individuel, sous-dimensionnée pour du service.

96-128 Go : Mac Studio M5 Max, AMD Strix Halo et les 70B confortables. La mémoire unifiée change la donne : un Mac Studio avec 128 Go fait tourner un 70B en Q4_K_M sans offloading, avec une bande passante mémoire de 256 Go/s sur les puces Strix Halo (bus 256 bits, 16 cœurs Zen 5, GPU RDNA 3.5). C’est le palier où l’on cesse de se ruiner en GPU professionnels.

Au-delà : les mini-PC à mémoire unifiée comme l’AMD Ryzen AI Halo (128 Go, jusqu’à 120B+, autour de 3 999 $) ou l’Acer mini-PC IA (128 Go, jusqu’à 200B annoncés) ouvrent la voie aux modèles de 100B+ sans grappe de GPU. L’AMD Gorgon Halo viserait même 192 Go pour du 200B+.

Pour les petits budgets, il reste des options étonnantes : un Raspberry Pi 5 (8 Go) fait tourner Ollama et un LLM 1-3B en usage offline (quelllm.fr, 27 août 2026), et les iGPU AMD Radeon 780M atteignent 8-12 tok/s sur du 7B en Vulkan après optimisation (+50 % grâce à Vulkan, +12,9 % via le réglage MMVQ).

Quel runtime pour quel profil ?

Vous débutez et voulez tester sans friction : Ollama. Une commande, une API compatible OpenAI, une gestion automatique des modèles. C’est la porte d’entrée, et elle suffit pour 80 % des usages individuels.

Vous êtes sur Mac : MLX en direct, ou Ollama/LM Studio qui l’utilisent en interne. La mémoire unifiée et les Neural Accelerators M5 font de l’écosystème Apple le meilleur rapport performance/prix pour l’IA locale en 2026.

Vous voulez tout contrôler : llama.cpp. La flexibilité totale, le GGUF, l’offloading fin, le serveur local mature depuis la v0.5.0. C’est l’outil des bricoleurs et des développeurs.

Vous servez plusieurs utilisateurs : vLLM. PagedAttention, continuous batching, débit 16-20x. C’est le seul choix sérieux pour de la production multi-utilisateurs.

Vous voulez une interface graphique : LM Studio. Navigateur de modèles intégré, configuration visuelle, serveur OpenAI-compatible, mode headless.

Vous avez un GPU modeste mais voulez un MoE massif : FreeToken. À condition d’avoir 64 Go de RAM minimum et de la bande passante PCIe. Les chiffres sont conditionnels, mais la promesse est réelle.

Ce qui arrive : la convergence et les harnais

Deux tendances structurelles redessinent le paysage pour les mois à venir.

D’abord, la convergence de l’infrastructure. Le post-training par apprentissage par renforcement (RLHF, GRPO, RLVR) exige des ressources qui poussent les écosystèmes open source à se rejoindre : la co-localisation du Ray Summit 2026 et de la première conférence vLLM à San Francisco en est le symptôme le plus visible (techtimes.com, 25 août 2026). Pour l’utilisateur local, cela signifie des runtimes de plus en plus interopérables et des formats de plus en plus standardisés.

Ensuite, la montée des harnais (harnesses). Depuis le début 2026, le monde de l’IA ne jure plus que par ces outils qui supervisent ce qu’un modèle peut ou ne peut pas faire (latribune.fr, 1er septembre 2026). Un harnais se décompose en six piliers : substrat de raisonnement, mémoire, constructeur de contexte, routage de compétences, boucle d’orchestration et couche de vérification. La prise de conscience du printemps 2026 — « le harnais compte plus que la taille du modèle » — change la donne pour l’IA locale : un petit modèle bien harnaché peut surpasser un gros modèle mal servi. C’est une excellente nouvelle pour ceux qui n’ont pas les moyens d’acheter un GPU à 3 000 €.

Enfin, l’écosystème matériel continue de bouger. Perplexity et Nvidia ont lancé Portable Computer, une version entièrement locale de la plateforme agentique de Perplexity, sans coûts de tokens (iaexpertos.net, 25 août 2026). Et le Mac mini M6, avec ses 32 Go de mémoire, accélère réellement le traitement des prompts en IA locale — même s’il garde ses limites face au cloud (lokan.fr, 30 août 2026).

Conclusion : le bon choix est celui qui tient dans votre mémoire

En octobre 2026, faire tourner un LLM chez soi sans se ruiner n’est plus une question de budget, mais de lucidité. Les runtimes ont mûri, les modèles open-weight ont rattrapé une bonne partie du retard sur le cloud, et les techniques de compression — TurboQuant en tête — repoussent sans cesse le plafond de ce qui tient sur du matériel modeste.

La règle d’or reste la même : partez de votre mémoire, pas de vos envies. Un 7B bien quantifié sur 16 Go de VRAM vous servira plus qu’un 70B qui déborde et rame. Un Mac avec mémoire unifiée battra un PC mal équilibré. Et un petit modèle bien harnaché éclipsera un géant mal servi.

Le reste — Ollama ou vLLM, llama.cpp ou MLX, LM Studio ou FreeToken — n’est qu’une affaire de profil. Choisissez selon votre matériel, votre tolérance à la ligne de commande et votre usage réel. Et testez vous-même : aucun benchmark ne remplacera jamais une mesure sur votre propre machine.

Sources

Article recherché et rédigé automatiquement · Magazine Electrosens

📬 Restez à la pointe

Recevez chaque semaine les nouveautés de ce magazine par email.

💬 Une remarque, une correction ?

Aidez-nous à améliorer cet article. Nous prenons en compte vos retours.

Ollama, vLLM, llama.cpp, MLX, LM Studio : quel runtime local choisir en 2026 pour ne pas se ruiner ?