EXL3, AWQ, FP8, GGUF : la guerre des formats de quantification se joue (aussi) sur le mauvais terrain
Les résultats récents montrent un paysage de formats de quantification en pleine recomposition : EXL3 recule dans les discussions de la communauté LocalLLaMA, AWQ et GPTQ se stabilisent, FP8 s’impose côté datacenter, et GGUF reste le standard de fait du local — mais les benchmarks publiés divergent
Mistral Large 4 en open weights : la fin du plafond « 70B » a sonné
Mistral a ouvert les poids de Mistral Large 4 début octobre 2026, un événement qui bouscule l’équation du LLM local : un modèle de classe « large » (et non plus seulement des 7B-70B) devient téléchargeable et exécutable hors cloud. L’article décrypte en profondeur ce que cette sortie signifie concrè
Le moteur local en 2026 : anatomie comparée des runtimes d’inférence qui font tourner vos LLM open source
Panorama technique de fond sur l’état réel des moteurs d’inférence locaux fin 2026 : au-delà du duel Ollama/llama.cpp, cartographier les familles (GGUF/CPU-first, serveurs type vLLM/SGLang, stacks distribuées comme llm-d 1.0, runtimes Apple/Windows ML) et ce que chacune change concrètement pour un p
llm-d 1.0 et DeepInfer : la bataille de l’inférence distribuée arrive (enfin) chez vous
En octobre 2026, deux annonces majeures rebattent les cartes de l’inférence LLM open source : llm-d 1.0 (projet CNCF soutenu par IBM/Google Cloud, avec routage cache-aware pour flottes GPU/TPU) et DeepInfer, le framework d’inférence que DeepSeek vient d’ouvrir derrière DeepSeek-V4.1-Flash. L’article
Windows ML en 2026 : l’OS veut devenir votre runtime LLM — ce qu’on sait vraiment, ce qu’on nous vend, et ce qu’il faut garder de côté
Windows ML a changé de nature en 2026 : la couche d’inférence de Microsoft sait désormais charger des modèles GGUF, exposer une API compatible OpenAI et router l’exécution entre CPU, GPU et NPU — autant de briques qui rebattent les cartes du LLM local sur PC Windows. L’article décrypte en profondeur
vLLM, SGLang, TensorRT-LLM : le match des moteurs d’inférence serveur en 2026 (et pourquoi llama.cpp n’est plus votre seul ami)
En 2026, le débat « quel moteur local ? » ne se résume plus à llama.cpp vs Ollama : vLLM, SGLang et TensorRT-LLM ont mûri, et les benchmarks récents rebattent les cartes sur le débit, le batching continu, le support du speculative decoding et la gestion du KV cache. Cet article propose un comparatif
Faire tourner un LLM chez soi en 2026 : le guide matériel sans langue de bois, du mini-PC à 600 € au dual-GPU d’occasion
Les résultats web de septembre 2026 (Memeburn, MarkTechPost) convergent : la question n’est plus « quel modèle » mais « quelle machine » pour faire tourner un LLM open-weight chez soi sans exploser le budget. On décrypte en profondeur les arbitrages matériels 2026 : mémoire unifiée Apple Silicon vs
Faire tourner un LLM local en production : le guide d’ingénierie 2026
La plupart des guides « best local LLM » s’arrêtent au benchmark de tokens/seconde sur une requête unique. Or passer d’une démo à un service qui sert réellement des utilisateurs change tout : il faut du batching continu, une gestion fine du KV cache, un choix de quantification raisonné, du prefix ca
Le NAS devient une station d’inférence : ce que vaut vraiment l’IA locale hors du PC gamer
Un signal fort de 2026 : des utilisateurs font tourner des LLM open-weights entièrement depuis leur NAS, transformant une simple boîte de stockage en station d’inférence. L’article décrypte en profondeur ce basculement architectural — pourquoi le NAS redevient pertinent (mémoire unifiée, GPU embarqu
Faire tourner un LLM open-weight sur son PC en 2026 : le guide VRAM par palier, du laptop 8 Go à la station 128 Go
En 2026, le vrai discriminant pour faire tourner un LLM open-weight chez soi n’est plus le nom du modèle mais la quantité de VRAM (ou de mémoire unifiée) dont on dispose : les guides récents de Hugging Face, Spheron et Memeburn structurent désormais leurs recommandations par paliers matériels plutôt