IA Traitement du son · 9 November 2026

Modèles ouverts, modèles chinois : la nouvelle géographie de l’IA audio en 2026

En 2026, un ingénieur du son qui choisit un outil de séparation de stems, de restauration ou de mastering assisté ne choisit plus un plugin : il choisit un modèle, une licence et une chaîne d’approvisionnement. Derrière l’interface soignée d’une démo commerciale se cache une guerre de poids, de juridictions et de benchmarks que le monde du son commence seulement à regarder en face. Voici la carte du terrain.

Le plugin n’est plus le produit : la bataille se joue sous le capot

Prenez un plugin de séparation de stems, une fonction « améliorer » dans un éditeur, un assistant de mastering dans un DAW. Il y a deux ans, la question qu’on posait était simple : « est-ce que ça sonne bien ? ». En 2026, cette question en cache une autre, beaucoup plus structurante : sur quel modèle tourne cet outil, sous quelle licence, et qui peut demain en couper l’accès ?

Le décor a changé de nature. La vague des modèles à poids ouverts — dont le DeepSeek-V4-Pro-0813 publié le 13 août sous licence MIT est devenu l’emblème — et la montée en puissance des laboratoires chinois dans les classements de modèles généraux ont rebattu les cartes de l’ensemble de l’écosystème IA. L’audio n’est pas une île : les moteurs de séparation, de restauration, de synthèse vocale et de mastering assisté qui équipent les outils du marché reposent de plus en plus souvent sur des briques issues de cet écosystème, ou sur des API propriétaires qui, elles, restent fermées.

Le problème, c’est que la démo commerciale masque cette réalité. Un éditeur de plugin n’a aucun intérêt à afficher en gros « ceci tourne sur un modèle sous licence non commerciale, donc interdit en prestation facturée ». Pourtant, c’est exactement le genre de détail qui détermine si un studio peut ou non facturer une session de restauration à un label. La qualité audio n’est plus le seul critère d’achat : le coût d’inférence, la pérennité du fournisseur et la souveraineté des données de session entrent dans l’équation.

Pour s’y retrouver, on peut réduire le problème à trois axes. Qui publie les poids (modèle ouvert, semi-ouvert, API fermée), à quel prix s’infère une minute audio (facturation à l’usage ou coût matériel local), et qui peut demain couper l’accès (juridiction, licence, dépendance à un fournisseur unique). C’est la grille de lecture qu’on va dérouler ici, maillon par maillon de la chaîne audio.

Beam et la promesse des poids libres : ce que « modèle ouvert » veut dire quand on mixe

Reflection et son modèle Beam sont devenus le symbole de la vague open-weights appliquée à l’audio. L’idée est séduisante : télécharger des poids, les faire tourner sur sa propre machine, ne dépendre de personne. Mais « modèle ouvert » est une expression piège, parce qu’elle recouvre des réalités juridiques très différentes.

Il faut d’abord rappeler la définition de référence. En octobre 2024, l’Open Source Initiative (OSI) a publié une définition de l’IA open source qui exige trois choses : les poids, le code, et des informations détaillées sur les données d’entraînement. C’est cette troisième condition qui fâche. Beaucoup de modèles dits « ouverts » publient les poids et le code mais restent muets sur leurs jeux d’entraînement — ce qui, au sens strict de l’OSI, ne suffit pas à parler d’open source.

Pour un studio, cette nuance n’est pas académique. Un modèle dont les poids sont téléchargeables mais dont la licence interdit l’usage commercial est utilisable pour un projet perso, pas pour une prestation facturée à un label. Un modèle sous Apache 2.0 ou MIT, lui, autorise la revente de prestations. Entre les deux, il y a un continent.

L’audio a déjà connu ces précédents. Les modèles de séparation de stems à poids libres sous licence non commerciale ont longtemps dominé la scène open source, et l’écosystème Whisper a montré qu’un modèle ouvert pouvait devenir un standard de facto pour la transcription. Mais dans les deux cas, la licence conditionnait l’usage professionnel. C’est ce point que les studios doivent vérifier avant de bâtir un workflow dessus — pas la qualité de la démo, mais le texte de la licence.

Alibaba, Moonshot, Z.ai, MiniMax : la déferlante chinoise qui n’a pas encore dit son mot sur l’audio

La carte des laboratoires chinois en 2026 est impressionnante, et il faut la poser factuellement. Alibaba a publié Qwen3.8-2.4T-A95B (2 400 milliards de paramètres, 95 milliards actifs) et Qwen3.8-27B, multimodal images/vidéos. Moonshot a ouvert Kimi K3 fin juillet (2 800 milliards de paramètres, contexte supérieur à 1 million de tokens). Z.ai (ex-Zhipu) maintient GLM-5.2 (753 milliards de paramètres, licence MIT). MiniMax propose M3 (428 milliards de paramètres, 23 milliards actifs). DeepSeek a publié DeepSeek-V4-Pro-0813 le 13 août sous MIT.

Le point crucial, et il faut être honnête : ces modèles sont multimodaux texte/image/vidéo, et la question de leurs capacités audio spécifiques — séparation, TTS, restauration — reste à documenter modèle par modèle. Aucune source ne permet aujourd’hui d’affirmer que Qwen3.8 ou Kimi K3 excellent en séparation de stems. On sait qu’ils sont puissants en génération générale ; on ne sait pas ce qu’ils valent sur un SDR de séparation ou un MOS de voix. C’est un angle mort majeur, et il faut le dire clairement plutôt que de le combler par analogie.

La stratégie de licence en zigzag de Baidu est, elle, un signal de volatilité qu’aucun pro du son ne devrait ignorer. Baidu a ouvert ERNIE 4.5 sous Apache 2.0 le 30 juin 2025 (jusqu’à 424 milliards de paramètres), puis a cessé d’ouvrir des poids : ERNIE 5.0 et 5.1 ne sont pas publiés, et il n’y a plus d’ouverture depuis novembre 2025. Autrement dit, un studio qui aurait bâti un workflow sur ERNIE ouvert se retrouve aujourd’hui face à un fournisseur qui a refermé la porte. C’est exactement le risque de dépendance qu’il faut anticiper.

Classements, triche et benchmarks privés : pourquoi le leaderboard ne dit pas quel modèle sonne mieux

Il y a une tentation naturelle à consulter un classement pour trancher. Mais les classements publics — arènes de vote, leaderboards de téléchargements — mesurent la popularité et la préférence déclarée, pas le SDR d’une séparation de stems ni le MOS d’une voix. Ce sont deux choses différentes, et les confondre mène à des choix d’outils qui déçoivent en cabine.

La méthodologie a ses limites bien connues. La contamination des jeux de test (le modèle a pu voir les données d’évaluation pendant l’entraînement), l’auto-évaluation par les éditeurs, et la difficulté à reproduire un protocole rendent les chiffres fragiles. En 2026, un phénomène nouveau s’y ajoute : les benchmarks privés réévaluent à la baisse la menace chinoise. Selon une analyse de Business Insider, une nouvelle façon de mesurer les modèles suggère que la menace chinoise pour OpenAI et Anthropic aurait été surestimée — les classements publics gonflant peut-être la performance perçue des modèles chinois par rapport à des tests privés plus exigeants. Parallèlement, un benchmark de CAIS (CheatBench) documente les modèles qui « trichent » le plus, ce qui rappelle que la performance affichée n’est pas toujours la performance réelle.

Pour l’audio, la grille critique doit être appliquée aux métriques spécifiques : SDR (séparation), PESQ et STOI (restauration/intelligibilité), MOS (synthèse vocale), et les métriques perceptuelles du mastering. Pour chacune, la question est toujours la même : qui a mesuré, sur quel corpus, avec quel protocole ? Un MOS annoncé par l’éditeur du modèle, sur son propre corpus, vaut moins qu’un MOS mesuré par un tiers indépendant sur un corpus public.

Et il faut le dire : ces chiffres manquent encore pour l’audio ouvert et chinois en 2026. L’absence de donnée est elle-même une information. Elle signifie qu’aucun benchmark audio public et indépendant ne permet aujourd’hui de classer sérieusement les modèles ouverts et chinois sur la séparation, la restauration ou le TTS. Un pro du son qui veut choisir sur des chiffres ne le peut pas encore — il doit tester lui-même, sur ses propres bandes.

Séparation, restauration, voix, mastering : quatre maillons, quatre logiques de modèle

La question du modèle ne se pose pas de la même façon partout dans la chaîne. Déroulons les quatre maillons.

La séparation de stems est le maillon le plus mûr côté modèles légers. L’inférence locale est possible sur une machine de studio raisonnable, ce qui ouvre la voie à des modèles ouverts tournant hors ligne. L’enjeu principal y est la licence : un modèle à poids libres sous licence non commerciale ne permet pas de facturer une prestation de séparation. Un modèle Apache 2.0 ou MIT, si. C’est la première chose à vérifier avant d’intégrer un séparateur dans un workflow commercial. À noter que les DAW intègrent désormais ces fonctions nativement — Boris FX Samplitude 2026.5 a ajouté une séparation de stems IA (annonce du 8 octobre 2026) — ce qui déplace la question du plugin vers celle du moteur embarqué dans le DAW.

La restauration de bandes est le maillon le plus exigeant en qualité et le moins tolérant à l’erreur. Restaurer une bande master, débruiter une prise voix, déréverbérer un enregistrement ancien : une erreur se voit et s’entend immédiatement. C’est aussi le maillon où les jeux d’entraînement propriétaires pèsent le plus lourd, car la qualité dépend étroitement des corpus utilisés — souvent opaques. Un modèle ouvert y est attractif pour la confidentialité (la bande ne quitte pas le studio), mais la licence et la transparence des données d’entraînement deviennent des critères critiques.

La synthèse vocale est le maillon le plus avancé côté chinois et ouvert, mais aussi le plus sensible juridiquement. Les modèles de TTS à poids ouverts ont progressé rapidement, et les laboratoires chinois y sont particulièrement actifs. Mais c’est aussi le terrain des droits de la voix et du consentement : cloner une voix de comédien sans autorisation, même avec un modèle ouvert, reste une faute. Le maillon TTS est celui où la licence du modèle ne suffit pas — il faut aussi la licence de la voix.

Le mastering assisté est le maillon le plus dépendant des métriques perceptuelles et de l’oreille humaine, donc celui où les benchmarks sont les plus contestés. Un mastering ne se résume pas à un score : il se juge à l’écoute, sur un système de référence, dans un contexte de genre musical. Les modèles ouverts y changent moins la donne que sur la séparation, parce que la validation finale reste humaine. Mais ils changent le coût : un mastering assisté local, sur un modèle ouvert, évite la facturation à l’usage d’une API cloud — un avantage réel pour les studios à volume.

Le vrai prix d’une minute audio : calcul, NPU et la facture cachée du local

C’est l’angle mort du discours actuel. On compare volontiers les modèles sur la qualité, rarement sur le coût par minute audio. Or c’est ce chiffre qui décide de la viabilité d’un workflow.

Deux modèles économiques s’affrontent. D’un côté, l’API propriétaire : facturation à l’usage, pas d’investissement matériel, mais dépendance réseau et coût qui grimpe avec le volume. De l’autre, l’auto-hébergement d’un modèle ouvert : coût matériel initial, électricité, temps d’ingénieur pour l’installer et le maintenir — mais coût marginal par minute qui tend vers zéro une fois la machine amortie. Le point d’équilibre dépend du volume de sessions et de la tolérance du studio à l’investissement initial.

Les NPU audio embarqués dans les interfaces et cartes son changent la donne sur deux plans : la latence (traitement local, pas d’aller-retour réseau) et la confidentialité (la bande ne sort pas du studio). C’est un argument décisif pour les studios qui travaillent sous contrat de confidentialité. Mais cela impose aux fabricants de plugins une contrainte nouvelle : leurs modèles doivent tourner sur le matériel de l’utilisateur, pas dans le cloud. Un plugin qui exige une connexion pour fonctionner devient un point de fragilité.

Il faut être clair : les chiffres précis de coût par minute restent à documenter. Aucune source ne permet aujourd’hui d’avancer un prix fiable par minute audio pour l’API ou pour l’auto-hébergement. C’est un angle mort pour les pros, et il faudra des benchmarks économiques indépendants pour le combler. En attendant, la prudence commande de ne pas bâtir un modèle d’affaires sur une estimation non vérifiée.

Licences, données de studio et souveraineté : ce que vous signez quand vous cliquez « améliorer »

Le clic sur « améliorer » est un acte juridique. Trois scénarios, trois conséquences.

Un modèle sous licence non commerciale interdit l’usage en prestation facturée. Un studio qui restaure une bande avec un tel modèle pour un label commet une violation de licence, même si le résultat est bon.

Une API propriétaire envoie vos bandes sur un serveur tiers. Pour un studio qui travaille sous NDA avec un label, cela peut être rédhibitoire : les multipistes non sorties, les voix de comédiens, les prises de session sont des données sensibles. La question « où vont mes fichiers ? » devient aussi importante que « est-ce que ça sonne bien ? ».

Un modèle chinois soulève des questions de juridiction et de transfert de données. Ce n’est pas un jugement sur la qualité technique — les modèles chinois sont performants — mais une réalité contractuelle : selon la juridiction du fournisseur, les données peuvent être soumises à des régimes différents. Pour un studio européen travaillant sous RGPD, c’est un critère à évaluer.

Les types de licence à connaître : Apache 2.0 et MIT autorisent l’usage commercial et la revente de prestations ; les poids libres restrictifs (non commercial) ne le permettent pas. La souveraineté des données de session — multipistes non sorties, voix de comédiens — devient un critère d’achat aussi important que la qualité audio. Un studio qui signe un contrat de confidentialité avec un label doit pouvoir répondre à la question : « où sont passées nos bandes ? »

Ce que les fabricants de plugins et de NPU doivent anticiper dès maintenant

Pour les éditeurs de plugins, l’architecture gagnante n’est plus le modèle propriétaire verrouillé. C’est une couche d’abstraction capable de faire tourner plusieurs modèles — ouverts, chinois, propriétaires — selon la licence du client et la puissance locale. Un plugin qui embarque un seul modèle fermé se condamne à suivre les décisions de son fournisseur ; un plugin qui peut basculer d’un moteur à l’autre survit aux retournements de licence, comme celui de Baidu qui a ouvert puis refermé ERNIE.

Pour les fabricants de NPU audio, l’anticipation porte sur trois fronts : des modèles de tailles très variables (du séparateur léger au modèle de TTS lourd), des formats de poids ouverts à supporter, et une demande de fonctionnement hors ligne de plus en plus forte. Les décisions à prendre dès maintenant : supporter les licences commerciales, tracer les modèles embarqués (quel modèle, quelle version, quelle licence), et documenter les données d’entraînement pour rassurer les studios.

Le contexte général pousse dans ce sens. Quatre laboratoires — Anthropic, Meta, Google et OpenAI — ont livré chacun un modèle frontière dans la même semaine début septembre 2026, provoquant ce que CNBC a baptisé la « model fatigue ». Le coût réel d’un modèle dépend désormais moins de sa performance brute que de son écosystème. Et la montée en popularité mondiale des modèles chinois, qui inquiète Washington selon CNBC (26 septembre 2026), confirme que la géographie des modèles est en mouvement rapide.

La grille de lecture à emporter en cabine

Résumons en une checklist concrète pour choisir un outil audio en 2026, non plus sur la démo mais sur l’écosystème :

1. Qui publie les poids ? Modèle ouvert, semi-ouvert ou API fermée ?
2. Sous quelle licence ? Apache 2.0/MIT (usage commercial autorisé) ou poids libres restrictifs (non commercial) ?
3. Où tourne l’inférence ? Local (confidentialité, latence) ou cloud (dépendance réseau, coût à l’usage) ?
4. Quelles données sont envoyées ? Les multipistes quittent-elles le studio ?
5. Quel benchmark a été mesuré, et par qui ? SDR, PESQ, STOI, MOS — sur quel corpus, avec quel protocole, par un tiers indépendant ?

La géographie de l’IA audio est mouvante : Baidu a ouvert puis refermé, les classements se réévaluent à la baisse via des benchmarks privés, et les capacités audio des modèles chinois restent à documenter. La seule stratégie robuste est de ne pas dépendre d’un seul fournisseur de modèle — de bâtir des workflows qui peuvent basculer d’un moteur à l’autre sans tout reconstruire.

Ce que la suite devrait apporter : des benchmarks audio publics et indépendants (qui n’existent pas encore vraiment en 2026), et des modèles chinois dont les capacités audio seront enfin documentées — pas seulement leurs scores en texte et en image. D’ici là, le discernement de l’ingénieur du son reste la meilleure défense : lire la licence avant d’écouter la démo.

Sources

• OpenAI | Research & Deployment
• Google Gemini
• Best AI Mixing Plugins 2026: 12 Tools an AI Mixing Engineer Actually …
• Best AI Mixing Plugins 2026: Hands-On Tested & Reviewed
• Best AI Mixing Plugins 2026 — MusicProductionWiki.com
• LLM Leaderboard & AI Model Benchmarks — November 2026
• AI Model Benchmarks 2026: Top LLMs on Every Major Test
• AI Benchmarks 2026: All 255 LLM Benchmarks Explained
• A new way of measuring AI models suggests China’s threat to OpenAI and Anthropic may have been overblown — Business Insider
• The AI models that cheat the most, according to new CAIS benchmark — ZDNet
• Chinese AI models surge in global popularity — and Washington is worried — CNBC
• Boris FX Samplitude 2026.5 Adds Spatial Panner and AI Stem Separation — MajorHiFi (8 octobre 2026)
• Quatre laboratoires livrent des modèles frontière en une semaine et provoquent la model fatigue — ETTAYEB (15 septembre 2026)
• Adobe Firefly Audio — disponibilité générale 20 août 2026 (données du magazine)

Article recherché et rédigé automatiquement · Magazine Electrosens