Magazine LLM Opensource · 10 October 2026

Palmarès des LLM open source : pourquoi les classements se contredisent (et comment s’y retrouver en 2026)

Le 5 juillet 2026, TECHSY couronne Qwen 3 235B-A22B. Le 7 août, BenchLM sacre MiniMax M3. Le 14 août, Z.ai dégaine GLM-5.3 et domine le benchmark cybersécurité CyberGym. Le 10 août, Meta publie Muse Glimmer, un agent 30B qui tourne sur un PC. Puis octobre rebat les cartes : Mistral dévoile « Le Chonk », Reflection AI lance Beam, Cloudflare ouvre Clef. Quatre mois, une demi-douzaine de verdicts irréconciliables, et un lecteur qui se demande si ces classements mesurent vraiment quelque chose. Ce dossier dissèque les méthodologies, les biais et les angles morts de ces palmarès — et propose une grille de lecture pratique pour ceux qui doivent choisir un modèle pour de vrai.

Le grand dérèglement des palmarès

Il y a un paradoxe savoureux dans l’écosystème des LLM open source en cette fin 2026 : plus les guides se multiplient, moins ils s’accordent. Prenez quatre publications sérieuses, publiées à quelques semaines d’intervalle. TECHSY, média tech francophone, met à jour son classement le 5 juillet et place Qwen 3 235B-A22B en tête, suivi de DeepSeek R1, avec une mention spéciale pour Llama 4 Scout sur les très longs contextes. BenchLM, leaderboard indépendant, classe au 7 août 96 modèles open-weight et désigne MiniMax M3 comme leader avec un score composite BenchAlign v5 de 68,8/100, devant Hy3 de Tencent (67,9) et GLM-5.1 de Z.AI (66,9). ComputingForGeeks, dans sa révision d’août, met en avant DeepSeek V4 Pro pour sa densité remarquable (49B paramètres actifs sur 1,6T) et Kimi K3 pour sa fenêtre d’un million de tokens. Et le 14 août, Z.ai lance GLM-5.3, qui s’impose en tête du benchmark CyberGym avec 84,5 %, devançant Claude Sonnet 5 et GPT-5.6 Sol sur les tâches cybersécurité — sans publier ses poids dans l’immédiat.

Quatre sources, quatre « meilleurs modèles » différents, et pourtant aucune n’a tort. C’est là tout le problème : ces classements ne répondent pas aux mêmes questions. L’un évalue des capacités de raisonnement sur des benchmarks classiques, l’autre agrège des scores composites propriétaires, le troisième valorise l’architecture et la faisabilité matérielle, le quatrième mesure des compétences spécialisées (code long-horizon, cybersécurité). Comparer leurs verdicts revient à comparer les notes d’un examen de mathématiques, d’un entretien d’embauche, d’un test de condition physique et d’un exercice de pentest pour départager des candidats à un poste de développeur.

Et le mois d’octobre n’a rien arrangé. Le 5 octobre, Reflection AI — soutenue par Nvidia — a dévoilé Beam, un modèle open-weight de 501 milliards de paramètres (23B actifs) qui revendique des performances proches des meilleurs modèles chinois en code, mais avec « 3 à 4 fois moins de calcul d’inférence ». Le lendemain, 6 octobre, Mistral a ouvert l’aperçu public de Mistral Large 4, surnommé « Le Chonk » : plus de 1 000 milliards de paramètres, 49 milliards actifs, entièrement entraîné en Europe, avec des poids promis sur Hugging Face pour le 27 octobre. Le 3 octobre, Cloudflare a publié Clef, une famille de modèles de décision (Clef 27B et Clef-flash 9B) sous Apache 2.0, revendiquant un BFCL de 98,76 et une latence de 38,8 ms contre 524 ms pour son concurrent Jev. Chacun de ces acteurs arrive avec sa propre définition de « meilleur ».

Ce dossier ne cherche pas à trancher — ce serait un exercice vain. Il propose plutôt de comprendre pourquoi ces classements divergent, ce qu’ils mesurent réellement, et comment s’en servir sans se faire piéger.

Pourquoi tout le monde publie son classement en 2026

La prolifération soudaine de guides et de palmarès n’est pas un hasard. Elle répond à une tempête parfaite : une avalanche de sorties majeures et la faillite silencieuse des benchmarks historiques.

Côté sorties, l’année 2026 a été d’une densité inédite. DeepSeek a lancé V4 Pro et V4 Flash en avril (1,6T et 284B paramètres, tous deux en licence MIT avec une fenêtre d’un million de tokens). Alibaba a suivi le même mois avec Qwen3.6-27B et Qwen3.6-35B-A3B, puis a dévoilé le 3 août Qwen3.8-Max, un modèle de 2,4 billions de paramètres aux poids ouverts annoncés. Z.AI a sorti GLM-5 en février (744B, 40B actifs) puis GLM-5.2 en juin (743B, ~40B actifs, contexte 1M), et enfin GLM-5.3 le 14 août — sans changer de base, mais avec un post-entraînement qui a tout changé. Moonshot AI a dévoilé Kimi K3 fin juillet, un modèle de 2,8T paramètres avec 104B actifs et 896 experts MoE, rendu plus largement accessible le 27 juillet. Meta, après quatre mois de verrouillage, a publié le 10 août Muse Glimmer, un modèle agentique multimodal de 30 milliards de paramètres sous licence Apache 2.0, conçu pour tourner sur un PC ou un Mac avec 24 Go de VRAM. Fin août, Tencent a ouvert Hy4 preview, un modèle de 770B paramètres (49B actifs) avec contexte d’un million de tokens, orienté code, productivité bureautique et recherche scientifique. Sans oublier les modèles propriétaires qui écrasent les benchmarks — Claude Fable 5, GPT-5.6, Gemini 3 Pro — et qui rappellent que l’open source doit constamment justifier sa pertinence.

Face à cette déferlante, les repères traditionnels se sont effondrés. MMLU, le benchmark roi des années 2023-2024, est saturé : les leaders dépassent 90 %, et les écarts entre modèles se mesurent désormais en décimales sans signification statistique. HumanEval, l’étalon du code, connaît le même sort. Les nouveaux benchmarks censés prendre le relais — GPQA Diamond, AIME 2026, SWE-Bench Verified, BFCL — ne sont pas encore standardisés. Chaque média choisit le sien, avec son harness, ses prompts, sa température. Résultat : des scores qui ne sont pas comparables d’une source à l’autre, et des classements qui se contredisent.

Il ne faut pas négliger non plus la dimension économique. Publier un classement, c’est capter une audience assoiffée de repères. Pour un fournisseur de GPU cloud comme Novita ou Thunder Compute, c’est aussi une manière de diriger les lecteurs vers les modèles qui tournent bien sur leur infrastructure. Pour un média tech, c’est du trafic et de la crédibilité. La course aux guides est aussi une course à l’audience — et personne n’a intérêt à publier un « classement » qui dirait : « tout dépend de votre cas d’usage ».

Sous le capot des six sources

Examinons ce que chaque source mesure vraiment. TECHSY, dans sa mise à jour du 5 juillet, fournit des scores MMLU et HumanEval pour cinq modèles — mais pas les plus récents. Llama 3.3 70B (86,0 en MMLU, 88,4 en HumanEval), Qwen 2.5 72B (85,0+, 86,6), DeepSeek-V3 (87,1, 82,6), Mistral Small 3.1 (80,6, 88,4), Gemma 3 27B (~78,6, 87,8). Ce sont des modèles de 2024 et 2025. Le classement final, lui, couronne Qwen 3 235B-A22B et DeepSeek R1 — des modèles plus récents — mais sans fournir les scores qui justifient ce choix. Aucune méthodologie n’est documentée : pas de version de lm-eval-harness, pas de température, pas de longueur de contexte testée. C’est un classement éditorial habillé de chiffres.

ComputingForGeeks prend le parti inverse : un tableau de spécifications méticuleux, re-vérifié contre les fiches officielles des modèles en août 2026, avec des tests maison (CPU tests en mars 2026 sur Ubuntu 24.04, mesures de DeepSeek V4 Flash et Kimi K3 en août). Paramètres totaux, paramètres actifs, type d’attention, fenêtre de contexte, licence, date de sortie : tout y est. Mais aucun score de benchmark. Le site répond à la question « quels modèles existent et que peut-on en faire ? », pas à « lequel est le plus intelligent ? ».

Koul, le blog d’Eliott Bidault-Hervouet, adopte une troisième approche : rappeler la définition OSI de l’IA open source publiée en octobre 2024, et affirmer que le choix d’un modèle en 2026 se joue sur la licence, le coût d’hébergement et la conformité — pas sur un score. C’est un positionnement salutaire, mais qui laisse le lecteur sans réponse concrète sur les performances.

Restent les acteurs aux intérêts plus directs. Novita, Tensoria et Thunder Compute sont des fournisseurs d’infrastructure GPU. Leurs guides privilégient naturellement des critères pratiques : latence, coût par token, facilité de déploiement, compatibilité avec les frameworks d’inférence. Ces critères sont précieux — ce sont ceux qui comptent en production — mais ils sont aussi orientés : un modèle qui tourne mal sur leur hardware a peu de chances d’être recommandé.

Aucune de ces sources ne documente la version de lm-eval-harness utilisée, la longueur de contexte testée pour chaque score, ou la pondération des benchmarks. C’est le point aveugle commun : les chiffres sont présentés comme des faits bruts, alors qu’ils dépendent de choix méthodologiques invisibles.

Les quatre biais qui faussent les comparaisons

Derrière les divergences de classement se cachent quatre mécanismes bien identifiés, qui faussent les comparaisons même quand les sources sont de bonne foi.

La contamination des données d’entraînement. Les benchmarks publics comme GPQA Diamond ou MMLU-Pro sont devenus des corpus d’entraînement. Les modèles récents sont entraînés sur ces questions — parfois volontairement, parfois par contamination accidentelle via le web — et leurs scores s’effondrent dès qu’on les teste sur des variantes inédites. C’est un problème connu depuis 2024, mais il s’est aggravé avec la course aux leaderboards. Un score de 77,3 % sur GPQA Diamond, comme celui attribué à o4-mini par un blog en juillet 2026, ne signifie pas grand-chose si le modèle a pu voir ces questions pendant son entraînement.

La sur-optimisation sur les tests populaires. AIME 2026, le benchmark de mathématiques olympiques, est devenu un passage obligé. Les équipes entraînent leurs modèles pour maximiser ce score précis, parfois au détriment de la généralisation. Un modèle qui excelle sur AIME peut échouer sur des problèmes mathématiques plus simples mais formulés différemment. Les classements qui s’appuient sur ces benchmarks récompensent la capacité à réussir le test, pas la capacité à raisonner.

La variance d’évaluation. La température, les prompts, le nombre de few-shot examples, la longueur de contexte testée : chaque paramètre peut faire varier les résultats de plusieurs points. Un modèle qui obtient 86,0 en MMLU avec un prompt soigneusement optimisé peut tomber à 83 avec un prompt standard. Sans documentation précise du protocole, deux scores comparables peuvent provenir de conditions radicalement différentes.

Le décalage générationnel. C’est le biais le plus structurel. TECHSY compare des modèles de 2024-2025 (DeepSeek R1, Llama 3.3) quand ComputingForGeeks intègre ceux de 2026 (DeepSeek V4, Qwen 3.6, Kimi K3). Les écarts de classement sont alors purement temporels : un modèle de 2026 est presque toujours meilleur qu’un modèle de 2024, quelle que soit la métrique. Comparer les deux revient à comparer un smartphone de l’année à un modèle de trois ans plus tôt.

Étude de cas : GLM-5.3, le post-entraînement qui change la donne

Le 14 août 2026, Z.ai a dévoilé GLM-5.3, un modèle qui ne change pas de taille mais change de métier. Même base que GLM-5.2 — un MoE de 743 milliards de paramètres, 1M de contexte, 128K de sortie — mais tout vient du post-entraînement. Les gains sont spectaculaires sur les tâches agentiques : Terminal-Bench 3.0 passe de 4,6 % à 28,3 % grâce au seul post-entraînement. Sur le benchmark cybersécurité CyberGym, GLM-5.3 s’impose avec 84,5 %, devançant Claude Sonnet 5 et GPT-5.6 Sol. Sur DeepSWE, il atteint 66,9, un score qui le place au niveau des meilleurs modèles propriétaires. Sur le benchmark interne Z.ai Code Bench, la progression atteint 50 % face à GLM-5.2.

Ce qui est remarquable, c’est que Z.ai n’a pas publié les poids immédiatement. Le modèle est d’abord disponible via le GLM Coding Plan et ZCode, avec une API générale « coming soon ». Les poids ont finalement rejoint Hugging Face le 25 août 2026 selon la fiche officielle du modèle (le 28 août selon d’autres sources, après deux semaines d’évaluations de sécurité) — une stratégie qui rappelle que l’open source n’est pas binaire : entre les poids immédiats et le code fermé, il existe tout un spectre de diffusion. Le NIST américain classe GLM-5.3 comme le modèle ouvert le plus capable à ce jour en cybersécurité, et Z.ai a lancé un programme d’audit gratuit. Côté tarif, l’API facture 1,40 $ par million de jetons en entrée et 4,40 $ par million en sortie.

Ce cas illustre parfaitement la thèse de ce dossier : un classement qui ne tient compte que des modèles aux poids immédiatement disponibles aurait ignoré GLM-5.3 pendant deux semaines — alors qu’il dominait déjà les benchmarks. La date de publication des poids et la date de publication des scores ne coïncident presque jamais, et c’est précisément cet intervalle qui piège les lecteurs pressés.

Étude de cas : octobre 2026, le mois où tout a rebasculé

Si l’été avait déjà brouillé les pistes, l’automne a achevé de complexifier le paysage. Trois sorties majeures en une semaine, chacune avec sa propre définition de la performance.

Mistral Large 4, dit « Le Chonk ». Le 6 octobre, Mistral a ouvert l’aperçu public de son nouveau modèle phare, entièrement entraîné en Europe. Sur le papier : plus de 1 000 milliards de paramètres, 49 milliards activés par réponse, une fenêtre de contexte annoncée à un million de tokens, des capacités multimodales et agentiques, et des poids promis pour le 27 octobre. Mistral le présente comme « le meilleur modèle à poids ouverts hors de Chine », misant sur la souveraineté européenne dans la course États-Unis-Chine. Les benchmarks cités — DeepSWE 61,7 %, Terminal-Bench 28,3 % — le placent dans le peloton de tête, sans détrôner les leaders chinois. Son argument différenciant n’est pas le score brut mais l’analyse géospatiale, la cybersécurité et le contrôle des données. Pour un DSI européen, c’est un critère qui peut peser plus lourd qu’un point de MMLU.

Beam de Reflection AI. Le 5 octobre, la startup soutenue par Nvidia a dévoilé Beam, un modèle open-weight de 501 milliards de paramètres (23B actifs), construit pour le code, le raisonnement et les déploiements souverains. Son pitch est radicalement différent : Beam revendique « 3 à 4 fois moins de calcul d’inférence » que ses rivaux, tout en traînant derrière les meilleurs modèles open sur les tests de code. Reflection vend moins un leaderboard qu’un coût d’exploitation. « La seule façon de posséder l’intelligence, c’est, par définition, qu’elle soit ouverte », résume son CEO. Les poids sont attendus plus tard dans le mois.

Clef de Cloudflare. Le 3 octobre, Cloudflare a publié Clef 27B et Clef-flash 9B sous Apache 2.0. Ce ne sont pas des modèles génératifs classiques mais des « modèles de décision » : ils renvoient une distribution de probabilités typée sur vos propres options, en 38,8 ms, contre 524 ms pour le concurrent Jev — soit un facteur 13 revendiqué. Leur BFCL de 98,76 les place au sommet du function calling. Comparer Clef à Qwen3-8B, comme le font certains tests, n’a pas de sens : l’un évalue, l’autre rédige. C’est l’illustration parfaite du biais de catégorie qui gangrène les classements généralistes.

Trois modèles, trois métriques reines (souveraineté, coût d’inférence, latence de décision), et aucun moyen de les classer sur une même échelle. Le lecteur qui cherche « le meilleur modèle open source d’octobre 2026 » n’obtiendra pas de réponse — parce que la question est mal posée.

Ce que les benchmarks récents mesurent vraiment

Pour s’y retrouver, il faut cartographier les benchmarks par ce qu’ils testent réellement, et non par leur popularité.

Raisonnement généraliste : MMLU-Pro, GPQA Diamond. Saturés ou proches de l’être, utiles seulement pour écarter les modèles faibles.

Mathématiques : AIME 2026, où plusieurs modèles atteignent désormais le score parfait — signe que le test a fait son temps.

Code : SWE-Bench Verified pour la résolution de bugs réels, DeepSWE pour les tâches longues, Terminal-Bench 3.0 pour l’usage en ligne de commande. C’est ici que se joue la vraie bataille open source, avec GLM-5.3 (28,3 % sur Terminal-Bench), Mistral Large 4 (28,3 %) et Claude Fable 5 (84,6 %, propriétaire) comme points de repère.

Agentique : Agents’ Last Exam, OSWorld, TAU-Bench, BFCL pour le function calling. C’est la catégorie qui monte le plus vite, et celle où les écarts entre modèles sont les plus significatifs.

Cybersécurité : CyberGym, où GLM-5.3 (84,5 %) fait la course en tête chez les modèles ouverts. Un domaine où le NIST lui-même s’est prononcé.

Multimodal et long contexte : MMMU, variation-in-a-haystack. Crucial pour les usages documentaires, souvent absent des classements généralistes.

Décision structurée : BFCL, où Clef (98,76) redéfinit la catégorie. Un benchmark que la plupart des guides ignorent encore.

La leçon est simple : un classement qui mélange ces catégories sans pondération explicite produit un chiffre qui ne veut rien dire. Un modèle excellent en cybersécurité peut être médiocre en multimodal, et inversement.

Grille de lecture pratique : choisir sans se faire piéger

Voici une démarche en cinq étapes pour transformer un palmarès en décision.

1. Partez de votre cas d’usage, pas du classement. Identifiez la tâche réelle : génération de code, audit de sécurité, RAG documentaire, agent autonome, function calling. Chaque tâche a son benchmark de référence — et un modèle peut être premier sur l’un et dernier sur l’autre.

2. Vérifiez la date de publication des poids. Un modèle dont les scores sont publiés mais dont les poids arrivent « plus tard dans le mois » (Beam, Mistral Large 4) n’est pas encore déployable. Pour un projet en production, la date de disponibilité réelle prime sur le score.

3. Contrôlez la licence, pas seulement le score. Apache 2.0 (Muse Glimmer, Clef), MIT (DeepSeek V4), licence custom (GLM-5.3) : les implications juridiques et commerciales varient énormément. Un modèle légèrement moins performant sous licence permissive peut être le bon choix.

4. Exigez la méthodologie. Version du harness, température, longueur de contexte, nombre de few-shot : sans ces informations, un score n’est pas reproductible. Les sources qui les documentent (ComputingForGeeks pour les specs, BenchLM pour la pondération partielle) valent plus que celles qui alignent des chiffres nus.

5. Testez sur vos données. Aucun benchmark public ne remplace une évaluation sur votre corpus. Un modèle à 84,5 % sur CyberGym peut échouer sur votre base de code spécifique. Le seul classement qui compte est celui que vous produisez vous-même.

Ce que cela change pour les praticiens

Trois conclusions se dégagent de ce tour d’horizon.

D’abord, la fin des classements universels. En 2026, il n’existe plus de « meilleur LLM open source » — seulement des meilleurs modèles par tâche, par contrainte matérielle et par juridiction. Les palmarès qui prétendent au contraire sont soit malhonnêtes, soit mal conçus.

Ensuite, la montée en puissance des critères non-performantiels. Souveraineté (Mistral), coût d’inférence (Beam), latence (Clef), conformité : ces dimensions pèsent désormais autant que les scores bruts. Un modèle européen à 61,7 % sur DeepSWE peut être préféré à un modèle chinois à 66,9 % pour des raisons réglementaires parfaitement rationnelles.

Enfin, l’urgence d’une méthodologie transparente. Tant que les éditeurs ne publieront pas leurs protocoles complets, les lecteurs devront traiter chaque classement comme un avis éditorial, pas comme une mesure. La bonne nouvelle : les outils existent pour évaluer soi-même. La mauvaise : peu de gens prennent le temps de le faire.

Le paradoxe de l’été 2026 n’était donc pas une anomalie, mais un symptôme. Un écosystème arrivé à maturité produit nécessairement des classements divergents — parce qu’il sert des besoins divergents. La question n’est plus « quel modèle est le meilleur ? », mais « meilleur pour quoi, pour qui, et à quel coût ? ». Ceux qui ont compris cela ont déjà cessé de lire les palmarès pour commencer à tester.

Sources

• Mistral dévoile Large 4, un modèle à plus de 1 000 milliards de paramètres — Le Monde Informatique (7 octobre 2026)
• Mistral Large 4, le modèle à 1 000 milliards de paramètres surnommé Le Chonk — Korben (7 octobre 2026)
• Mistral’s New ‘Le Chonk’ AI Model Is Big, Open and Built for Agents — CNET (7 octobre 2026)
• Mistral Says Its New AI Model ‘Le Chonk’ Is the Best Open-Weight Offering Outside of China — Wired (6 octobre 2026)
• Mistral relance la France dans la course à l’IA et dévoile « Le Chonk » — Numerama (6 octobre 2026)
• Reflection AI debuts open-source Beam model with 501B parameters — SiliconANGLE (6 octobre 2026)
• Reflection’s Beam trails top open models on coding tests but claims lower inference compute — Help Net Security (6 octobre 2026)
• Nvidia-backed Reflection unveils Beam, its first open-weight model — The Next Web (5 octobre 2026)
• Reflection debuts Beam, an open-weight AI model to rival Chinese models at lower compute cost — TechCrunch (5 octobre 2026)
• Reflection AI Unveils Beam, a 501B-Parameter Open-Weight Model — Unite.AI (5 octobre 2026)
• Cloudflare Clef : la réponse ouverte à Jev, 13 fois plus rapide — ai-stat.ru (3 octobre 2026)
• Clef-Flash vs Qwen3-8B : Probabilités vs prose — orcarouter.ai (2 octobre 2026)
• Z.ai lance GLM-5.3, le nouveau choc IA qui bouscule le codage et la cybersécurité — LeBigData.fr (août 2026)
• GLM-5.3 — Fiche modèle officielle (août 2026)
• Z.ai (@Zai_org) — annonce GLM-5.3 sur X (14 août 2026)

Article recherché et rédigé automatiquement · Magazine Electrosens