Magazine LLM Opensource · 4 November 2026

Tencent Hy4 Preview : 770 milliards de paramètres ouverts, licence Apache 2.0 et un mois de recul sur le terrain

Le 28 août 2026, Tencent a publié les poids de Hy4 Preview, un modèle de 770 milliards de paramètres avec une fenêtre de contexte dépassant le million de tokens, sous licence Apache 2.0. Pour la première fois, un acteur de cette envergure met à disposition de la communauté open source un modèle taillé pour la production, et pas seulement pour la démonstration. Près de deux mois plus tard, les premiers retours d’exploitation arrivent — et ils nuancent sérieusement l’enthousiasme initial.

Le 28 août 2026, Tencent a ouvert les vannes d’un géant

L’annonce est tombée un vendredi, comme souvent dans le monde de l’IA. Le 28 août 2026, Tencent a publié Hy4 Preview, un modèle de langage de 770 milliards de paramètres totaux, avec une fenêtre de contexte supérieure à un million de tokens. La nouvelle a été relayée quasi simultanément par TechNode, TechGenyz et GadgetPilipinas, avant que Forbes ne lui consacre un article le 31 août. Mais au-delà de la couverture médiatique, c’est la nature de la publication qui a fait l’effet d’un séisme : il ne s’agit pas d’une simple annonce marketing, mais d’une mise à disposition effective des poids du modèle.

Pour les praticiens, la différence est fondamentale. Depuis deux ans, les très gros modèles chinois — DeepSeek, Qwen, GLM — ont habitué la communauté à des publications open weight de plus en plus massives. Mais 770 milliards de paramètres, c’est un cran au-dessus. C’est le plus gros modèle open source jamais publié par un acteur de cette taille, et il arrive avec un positionnement clair : un outil de productivité pour les tâches quotidiennes, issu de la série Hunyuan, entraîné sur des données de spécialistes en ingénierie logicielle, gaming, finance et sécurité.

La communauté a réagi avec un mélange d’enthousiasme et de prudence. Enthousiasme, parce que l’échelle ouvre des possibilités inédites : du raisonnement long-contexte, de l’analyse de code à grande échelle, de l’agentique sérieuse. Prudence, parce que les benchmarks annoncés par Tencent sont pour l’instant des auto-évaluations, et que personne n’a encore validé les performances de manière indépendante. Le précédent GLM-5.3, sorti le 14 août 2026 par Z.ai, avait montré qu’un post-entraînement soigné pouvait transformer un modèle sans changer un seul paramètre — mais aussi que les chiffres officiels méritaient d’être vérifiés sur le terrain.

Ce qui est certain, c’est que Tencent ne fait pas dans la demi-mesure. Hy4 Preview n’est pas un modèle de démonstration : il est d’ores et déjà disponible sur plusieurs plateformes, de Yuanbao (le ChatGPT chinois de Tencent) à OpenRouter pour l’international, en passant par WorkBuddy, CodeBuddy et ima. Et l’entreprise affirme avoir utilisé le modèle pour optimiser son propre développement, avec un gain de débit de bout en bout de 31,8 %. Un chiffre à prendre avec précaution, mais qui témoigne d’une ambition : faire de Hy4 un outil de travail, pas un trophée.

770B de paramètres, 49B actifs : anatomie d’un MoE hors norme

Les spécifications techniques de Hy4 Preview se sont précisées depuis la publication initiale. La fiche officielle de Tencent et les analyses de ScienceActu confirment l’essentiel : c’est un Mixture-of-Experts (MoE) de 770 milliards de paramètres totaux, dont seulement 49 milliards sont actifs par token. L’architecture compte 78 couches, 256 experts routés et un expert partagé ; pour chaque token, huit experts routés et l’expert partagé sont activés. Ces chiffres, d’abord rapportés par une seule source tierce (TechGenyz), sont désormais corroborés par la documentation du modèle — un point important, car il lève l’incertitude qui pesait sur l’anatomie exacte du réseau.

Le ratio entre paramètres totaux et actifs est intéressant : 770B pour 49B actifs, soit un facteur d’environ 15,7, et une activation d’environ 6,4 % des poids à chaque token. C’est dans la lignée des grands MoE récents, qui cherchent à maximiser la capacité tout en maîtrisant le coût d’inférence. Pour comparaison, GLM-5.3 de Z.ai repose sur une base MoE de 743 milliards de paramètres, et DeepSeek V4 Pro, sorti le 12 août 2026, propose également une architecture à experts. La tendance est claire : les très gros modèles ouverts sont désormais tous des MoE, car c’est la seule façon de concilier capacité et coût d’inférence raisonnable. Les analyses techniques publiées fin octobre 2026 sur le routage des MoE open-weight (top-k gating, équilibrage de charge des experts) confirment d’ailleurs que c’est précisément ce mécanisme qui permet de réduire la charge GPU sans sacrifier la profondeur de raisonnement.

La fenêtre de contexte de plus d’un million de tokens est l’autre caractéristique marquante. Atteindre une telle longueur nécessite des techniques d’attention efficaces — RoPE (rotary position embeddings), attention sparse, sliding window — mais Tencent n’a pas divulgué sa recette exacte. Les sources disponibles ne mentionnent ni la topologie de l’attention, ni le volume de données d’entraînement, ni le budget de calcul. C’est un angle mort significatif : pour les praticiens qui voudront fine-tuner ou adapter le modèle, la connaissance de ces détails est cruciale. La fiche du modèle reconnaît d’ailleurs des limites connues : sur les tâches complexes, Hy4 peut raisonner plus longtemps que nécessaire et avoir tendance à sur-vérifier son propre travail — un comportement typique des modèles « preview » dont le post-entraînement n’est pas encore stabilisé.

Un point mérite d’être souligné : Tencent affirme que Hy4 Preview a été utilisé pour optimiser son propre développement, avec une amélioration de 31,8 % du débit de bout en bout. C’est une forme d’auto-amélioration qui rappelle les boucles de RL post-training évoquées au Ray Summit 2026, où l’infrastructure open source converge vers des cycles d’entraînement de plus en plus automatisés. Mais là encore, il s’agit d’une déclaration de Tencent, non vérifiée indépendamment.

Modèle	Paramètres totaux	Paramètres actifs	Contexte	Date de sortie	Licence
Hy4 Preview (Tencent)	770B	49B	1M+ tokens	28 août 2026	Apache 2.0
Muse Spark Open (Meta)	816B	42B	1M tokens	15-16 octobre 2026	Open weight
GLM-5.3 (Z.ai)	743B (base MoE)	Non précisé	1M tokens	14 août 2026	Poids différés
DeepSeek V4 Pro	Non précisé	Non précisé	1M tokens	12 août 2026	Open source
Qwen3.8-Max (Alibaba)	2,4T	Non précisé	Non précisé	3 août 2026	Non précisée
Kimi K3 (Moonshot)	Non précisé	Non précisé	Non précisé	Juillet 2026	Open weights

La comparaison la plus instructive est désormais avec Muse Spark Open, publié par Meta les 15 et 16 octobre 2026. Avec 816 milliards de paramètres totaux et 42 milliards actifs pour un contexte d’un million de tokens, il dépasse Hy4 en taille totale tout en activant moins de paramètres par token — et il est présenté par Meta comme « le modèle open-weight américain le plus capable à ce jour », avec un focus explicite sur le code et le travail agentique, jusqu’à une exécution sur Apple M5 Ultra Mac Studio. Autrement dit, en moins de deux mois, Hy4 Preview n’est plus seul à son étage : la course à l’échelle des MoE ouverts s’est accélérée, et le « plus gros modèle ouvert » est une couronne qui se reprend vite.

Benchmarks : ce que l’on sait (et ce que l’on ignore)

Le point le plus délicat de cette sortie concerne les performances. Tencent a communiqué un score d’évaluation interne : sur 163 experts et 203 tâches d’ingénierie, Hy4 Preview obtiendrait une moyenne de 2,99 sur 4,00, devant GLM-5.3 (2,92) et Kimi K3 (2,94). Ces chiffres, désormais confirmés par la communication officielle de Tencent, sont présentés comme issus d’une évaluation en aveugle. Mais ils restent une auto-évaluation, sans méthodologie détaillée ni validation indépendante.

Plus préoccupant : aucun score sur les benchmarks standards n’a été publié. Pas de MMLU, pas de GPQA, pas de HumanEval, pas d’AIME, pas de MATH. C’est un contraste frappant avec les sorties récentes de la concurrence. GLM-5.3, par exemple, a été accompagné de chiffres précis sur Terminal-Bench 3.0 (28,3 % après post-entraînement, contre 4,6 % avant) et sur CyberGym (84,5 %). DeepSeek V4 Pro a fait l’objet de tests indépendants sur OpenRouter. Pour Hy4, rien de tout cela — et la situation n’a guère évolué depuis : les tests tiers publiés (comme la revue d’eesel.ai) portent surtout sur l’usage pratique et le rapport qualité/prix, pas sur une batterie standardisée reproductible.

Cette absence de benchmarks standardisés est problématique à plusieurs titres. D’abord, elle rend la comparaison avec les autres modèles difficile, voire impossible. Ensuite, elle alimente le scepticisme : un modèle de cette taille, annoncé avec un tel battage, devrait pouvoir produire des chiffres sur les évaluations classiques. Le fait que Tencent choisisse une évaluation interne, centrée sur des tâches d’ingénierie, suggère que le modèle a été optimisé pour des usages spécifiques — probablement le code et les agents — plutôt que pour exceller partout.

Il faut aussi noter que l’évaluation interne de Tencent ne couvre que des tâches d’ingénierie. C’est un choix assumé, cohérent avec le positionnement « productivité » du modèle. Mais pour les praticiens, cela signifie qu’il faudra tester Hy4 sur ses propres cas d’usage avant de se faire une opinion. Les plateformes comme OpenRouter, où le modèle est disponible, permettront de le faire rapidement. En attendant, la prudence est de mise : les chiffres de Tencent sont des promesses, pas des preuves. Et l’absence de scores sur les évaluations de raisonnement pur (AIME, GPQA) reste, à ce jour, le principal trou dans la raquette.

VRAM, coûts, latence : le vrai prix d’un 770B

Venons-en au sujet que tout le monde redoute : le coût. Un modèle de 770 milliards de paramètres, c’est d’abord une question de mémoire. En BF16, les poids seuls représentent environ 1,54 téraoctet (770 milliards × 2 octets). En FP8 — format dans lequel Tencent livre effectivement une version — on descend à environ 770 gigaoctets. Ces ordres de grandeur, issus d’un calcul simple, donnent une idée de la difficulté : il faut au minimum une dizaine de GPU H100 80 Go pour charger les poids en FP8, et le double en BF16. Avec le contexte d’un million de tokens, le cache d’attention (KV cache) vient s’ajouter, et il peut facilement doubler ou tripler les besoins en mémoire.

Pour l’inférence, le coût par token dépend de nombreux facteurs : le nombre de GPU, l’interconnexion (NVLink, InfiniBand), la quantification, le framework. Tencent n’a publié aucun chiffre officiel sur les coûts d’inférence de Hy4, ni sur les configurations matérielles recommandées. Mais les agrégateurs de modèles donnent désormais une première idée : sur OrcaRouter, Hy4 Preview est référencé à 0,83 $ / 2,50 $ par million de tokens (entrée/sortie), à 43 tokens par seconde. C’est un positionnement nettement plus cher que les petits modèles de la concurrence — Qwen3.8 Flash est à 0,15 $ / 0,47 $ à 106 tok/s, DeepSeek V4 Flash Vision à 0,22 $ / 0,66 $ à 214 tok/s — mais bien en dessous des modèles frontière propriétaires. Le débit de 43 tok/s, en revanche, est modeste : c’est le prix de l’échelle.

Pour les praticiens, le calcul est simple : un modèle de cette taille ne se déploie pas sur un poste de travail. Il faut un cluster, avec une interconnexion rapide, et une expertise en déploiement distribué. Le coût d’inférence par token sera probablement plus élevé que celui de modèles plus petits comme Qwen3-8-Max, mais le ratio paramètres actifs/paramètres totaux (49B/770B) joue en faveur de Hy4 : seuls 49 milliards de paramètres sont activés à chaque token, ce qui réduit la charge de calcul par rapport à un modèle dense de même taille.

Le fine-tuning, lui, est un tout autre défi. Adapter un modèle de 770B nécessite des ressources considérables, même avec des techniques comme LoRA ou QLoRA. Les praticiens devront probablement se tourner vers des approches de distillation : entraîner un modèle plus petit à reproduire les comportements de Hy4, plutôt que de fine-tuner le géant lui-même. C’est une piste que Tencent n’a pas explicitement encouragée, mais qui semble inévitable pour la plupart des équipes. Notre carte décisionnelle du self-hosting en 2026 détaille ce genre d’arbitrage entre VRAM disponible et ambition de personnalisation.

Rendre Hy4 exploitable : quantification et déploiement distribué

La question pratique est donc : comment faire tourner Hy4 en production ? Les techniques existent, mais elles demandent une certaine maîtrise. La quantification est la première étape. Le FP8 est devenu le standard de fait pour les très gros modèles, car il divise par deux les besoins en mémoire par rapport au BF16, avec une perte de qualité minime — et Tencent livre justement une version FP8, ce qui évite de refaire le travail. Pour aller plus loin, l’INT4 est possible, mais avec des précautions : les études récentes montrent que l’AWQ (Activation-aware Weight Quantization) réduit la pénalité de perplexité de 74 % par rapport à GPTQ en INT4 (de 4,57 à 1,17). Un chiffre à garder en tête pour ceux qui voudraient pousser la compression — notre comparatif dédié aux techniques de quantification détaille ce que chaque méthode implique concrètement, et notre guide GGUF/AWQ/GPTQ/FP8/NVFP4 aide à ne pas se tromper de chiffres.

Le déploiement distribué est l’autre brique essentielle. Pour un MoE de cette taille, plusieurs stratégies se combinent : le tensor parallelism (répartir les matrices de poids entre GPU), le pipeline parallelism (découper le modèle en couches), et surtout l’expert parallelism, qui est naturel pour les architectures à experts : chaque GPU héberge un sous-ensemble d’experts, et le routeur achemine les tokens vers les experts concernés. C’est cette dernière technique qui permet de tirer parti du caractère creux du modèle — seuls 8 experts routés sur 256 plus l’expert partagé sont activés par token, ce qui signifie que la majorité des poids restent inactifs à un instant donné.

L’écosystème du serving s’est d’ailleurs structuré ces dernières semaines, ce qui change la donne pour un modèle comme Hy4. Le 20 octobre 2026, le projet llm-d 1.0 a été présenté à la PyTorch Conference North America : une pile d’inférence distribuée native Kubernetes, annoncée par IBM Research, pensée précisément pour servir de grands modèles sur plusieurs nœuds. Et le 20 octobre toujours, Google a publié des versions de vLLM et SGLang compatibles TPU, élargissant le choix du matériel au-delà du seul GPU NVIDIA. Pour un 770B, ces briques comptent autant que le modèle lui-même : sans un runtime capable de gérer l’expert parallelism et le KV cache long-contexte, les poids Apache 2.0 ne servent à rien.

Reste un point que la licence Apache 2.0 rend plus aigu : la sécurité. Un modèle ouvert de cette taille, déployé en agent, expose une surface d’attaque considérable. L’affaire NemoClaw d’août 2026 — où le wrapper de sécurité de Nvidia pour les agents OpenClaw s’est révélé être lui-même le vecteur d’attaque — a montré que l’écosystème open-weight ne protège pas par défaut. Pour les équipes qui voudront brancher Hy4 sur des outils, des bases SQL ou des documents, la question du garde-fou n’est pas optionnelle.

Un mois de recul : ce que les retours d’exploitation changent

C’est ici que l’article initial doit être le plus sérieusement nuancé. Près de deux mois après la sortie, le tableau est plus contrasté que l’annonce. Les retours convergent sur trois points.

Premier point : la licence. La publication sous Apache 2.0 est une excellente nouvelle — c’est une licence permissive, sans restriction d’usage commercial, qui facilite l’adoption en entreprise. C’est un argument fort face à GLM-5.3, dont les poids sont « différés », et face aux modèles dont la licence reste floue. Sur ce plan, Hy4 Preview tient ses promesses.

Deuxième point : le nom « preview » n’est pas décoratif. La fiche du modèle reconnaît explicitement que sur les tâches complexes, Hy4 peut raisonner plus longtemps que nécessaire et sur-vérifier son propre travail. En pratique, cela se traduit par une latence imprévisible sur les prompts difficiles — un comportement qui, combiné au débit déjà modeste de 43 tok/s, peut devenir problématique en production interactive. Les équipes qui l’ont testé rapportent un modèle solide sur le code et l’analyse de documents, mais qui demande un réglage fin des paramètres de raisonnement pour ne pas « sur-penser ».

Troisième point : la concurrence n’a pas attendu. Entre le 15 et le 16 octobre 2026, Meta a publié Muse Spark Open (816B/42B, 1M de contexte), et le 19 octobre, Inception a sorti Mercury 3, un modèle à diffusion générant plus de 1 000 tokens par seconde avec un contexte de 1M — à 0,10 $ par million de tokens en entrée. Sur le seul critère du débit, Hy4 Preview (43 tok/s) paraît daté face à ces approches. Cela ne le disqualifie pas — un modèle à diffusion et un MoE autoregressif ne jouent pas la même partition — mais cela relativise sérieusement l’argument « le plus gros modèle ouvert » comme argument de vente.

Le vrai bilan, à ce stade, est donc celui d’un modèle qui a tenu sa promesse d’ouverture (poids réels, Apache 2.0, FP8 fourni, disponibilité multi-plateformes) mais pas encore celle de la preuve. Les chiffres de Tencent (2,99/4,00 sur son évaluation interne) restent invérifiés ; les benchmarks standards manquent ; et l’écosystème a produit, en six semaines, des alternatives plus rapides ou plus grosses. Pour les praticiens, Hy4 Preview est un excellent candidat à évaluer — pas un choix par défaut. La bonne pratique reste celle que nous défendons : tester sur ses propres tâches, mesurer latence et coût réels, et ne pas confondre taille de modèle avec qualité de résultat.

Sources

Article recherché et rédigé automatiquement · Magazine Electrosens

📬 Restez à la pointe

Recevez chaque semaine les nouveautés de ce magazine par email.

💬 Une remarque, une correction ?

Aidez-nous à améliorer cet article. Nous prenons en compte vos retours.

Tencent Hy4 Preview : le géant 770B open source qui redessine la carte de l’IA