Magazine LLM Opensource · 26 July 2026

VideoChat3 : le petit modèle open-source qui met GPT-5 à l’épreuve sur le grounding vidéo

Le 16 juillet 2026, une équipe de 27 chercheurs chinois et singapouriens a publié VideoChat3, un modèle de compréhension vidéo de seulement 4 milliards de paramètres. Ses résultats auto-déclarés sur trois benchmarks de grounding temporel dépassent ceux de GPT-5 et de Gemini 2.5 Flash, avec des écarts allant jusqu’à 15 points de mIoU. Plus surprenant encore : l’intégralité de la stack d’entraînement – poids, code, jeux de données – est disponible en open source. Décryptage d’une annonce qui bouscule la hiérarchie établie dans l’IA multimodale.

Le petit modèle qui fait tomber le géant : 4 milliards de paramètres contre GPT-5

C’est un scénario que l’on aime dans la communauté open source : un modèle académique modeste vient défier les mastodontes propriétaires. VideoChat3, développé par une équipe de 27 chercheurs issus de l’Université de Nanjing, du Shanghai AI Laboratory, de la Nanyang Technological University et de l’Université de Pékin, a été publié le 16 juillet 2026 sur arXiv (référence 2607.14935). Dès le lendemain, il atteignait la troisième place du classement « Paper of the Day » sur Hugging Face.

Ce qui frappe d’emblée, c’est la taille du modèle : 4 milliards de paramètres. À titre de comparaison, GPT-5 – dont l’architecture précise reste confidentielle – compterait « plusieurs centaines de milliards de paramètres » d’après les rares fuites, et Gemini 2.5 Flash est un modèle de taille non divulguée mais très probablement bien plus gros. Pourtant, sur les trois benchmarks temporels de la suite TimeLens, VideoChat3 obtient des scores qui donnent le tournis :

Source : Table 2 du papier VideoChat3, rapporté par TechTimes (19 juillet 2026). Scores auto-déclarés, non répliqués indépendamment.

L’écart est spectaculaire : +15,6 points sur Charades-STA par rapport à GPT-5, +11,7 sur ActivityNet Captions, +14,9 sur QVHighlights. Même Gemini 2.5 Flash, pourtant réputé performant en vidéo, est distancé de 2 à 7 points. La réaction de la communauté a été immédiate : le papier est devenu viral sur Hugging Face, et le dépôt GitHub (MCG-NJU/VideoChat3) a rapidement attiré l’attention.

Mais il faut immédiatement tempérer : ces résultats sont auto-déclarés par les auteurs. Aucune réplication indépendante n’a encore eu lieu – le modèle n’a que trois jours d’existence au moment où j’écris ces lignes. La prudence est de mise, mais l’ampleur de l’écart mérite qu’on s’y attarde.

Pourquoi le grounding vidéo était le talon d’Achille de l’open source

Le « grounding » vidéo, c’est la capacité d’un modèle à localiser précisément dans le temps (et parfois dans l’espace) l’instant ou la région qui correspond à une requête textuelle. Par exemple : « trouve la scène où le personnage prend une pomme » doit renvoyer le segment temporel exact [12,3s – 15,7s]. C’est une compétence cruciale pour des applications comme la recherche dans des archives vidéo, le montage automatique, l’analyse de surveillance ou l’assistance aux malvoyants.

Jusqu’à récemment, les modèles open source multimodaux peinaient dans ce domaine. VideoChat2, LLaVA-NeXT, InternVL – tous souffraient de limitations bien connues : une localisation temporelle imprécise, un nombre de tokens visuels trop élevé qui ralentit l’inférence, et surtout l’absence d’un mécanisme dédié à l’ancrage spatio-temporel. Les approches propriétaires comme GPT-5 (qui intègre vraisemblablement un module de grounding dans son architecture unifiée) et Gemini (avec son mélange d’experts et de modules vision) dominaient sans partage.

La notion de grounding spatio-temporel est plus exigeante que la simple description vidéo. Il ne s’agit pas seulement de comprendre ce qui se passe, mais de pointer l’intervalle exact. C’est un problème de localisation, pas seulement de compréhension sémantique. Et c’est précisément sur ce point que VideoChat3 innove.

I3D-ViT et Adaptive Frame Resolution : les deux innovations qui changent la donne

L’architecture de VideoChat3 repose sur deux piliers techniques, décrits dans le papier et sur le dépôt GitHub.

1. Inflated 3D Vision Transformer (I3D-ViT)
Il s’agit d’un Vision Transformer « gonflé » dans la dimension temporelle. Concrètement, au lieu de traiter chaque image indépendamment (comme un ViT classique) ou d’utiliser des couches 3D lourdes, I3D-ViT applique une compression spatio-temporelle d’un facteur 16×. Cela signifie que le modèle agrège l’information sur plusieurs trames avant de la projeter dans l’espace des tokens. Résultat : beaucoup moins de tokens visuels pour représenter une séquence vidéo, sans perte d’information critique pour la localisation temporelle.

2. Adaptive Frame Resolution
Ce mécanisme ajuste dynamiquement la résolution des trames en fonction de l’« évidence » contenue dans la vidéo. Si une scène est stable (peu de mouvement), le modèle sous-échantillonne ; si elle est riche en événements, il conserve plus de détails. Cela permet un streaming adaptatif qui réduit encore le nombre de tokens tout en maintenant la précision.

D’après l’article de TechTimes (citant le papier), VideoChat3 génère exactement la moitié des tokens visuels de Qwen3-VL dans des conditions d’entrée identiques. Qwen3-VL est pourtant un modèle open source récent et performant, mais sa gestion des tokens vidéo est moins efficace. Cette réduction de moitié a un impact direct sur la latence et le coût d’inférence – deux facteurs clés pour le déploiement.

Comparé aux architectures propriétaires, on manque de détails : GPT-5 reste une boîte noire, et Gemini utilise un mélange de MoE et de modules vision dont la partie vidéo n’est pas documentée publiquement. Mais le fait qu’un modèle de 4B paramètres atteigne ces scores suggère que l’efficacité de la représentation compense largement la taille modeste du LLM sous-jacent.

Les chiffres qui font mal : décryptage du tableau TimeLens

Reprenons les scores en les mettant en perspective. La suite TimeLens regroupe trois benchmarks :

• Charades-STA : grounding temporel sur des vidéos domestiques (activités quotidiennes). VideoChat3 obtient 56,1 mIoU, contre 40,5 pour GPT-5 et 48,6 pour Gemini 2.5 Flash. L’écart de 15,6 points avec GPT-5 est énorme – cela représente un bond générationnel.
• ActivityNet Captions : grounding sur des vidéos d’activités humaines variées (sport, cuisine, etc.). VideoChat3 : 54,6 ; GPT-5 : 42,9 ; Gemini : 52,5. Ici, Gemini est plus proche, mais GPT-5 est largement distancé.
• QVHighlights : grounding sur des moments forts de vidéos (highlights). VideoChat3 : 67,0 ; GPT-5 : 52,1 ; Gemini : 64,3. Encore une avance confortable.

Ces chiffres, s’ils sont confirmés, indiquent que VideoChat3 a résolu un problème que les modèles propriétaires n’avaient pas encore parfaitement adressé. Cependant, il faut noter l’absence de benchmarks comme Ego4D (vidéos à la première personne) ou VideoGrounding (un autre dataset standard). Les auteurs ont choisi TimeLens, peut-être parce qu’il est plus récent et mieux adapté à leur approche. Une évaluation indépendante sur Ego4D serait la bienvenue pour confirmer la généralisation.

Par ailleurs, rien n’indique quelle version de GPT-5 a été utilisée pour la comparaison. OpenAI a publié plusieurs variantes (GPT-5-High, GPT-5.2, etc.) ; sans précision, la comparaison reste floue. De même, Gemini 2.5 Flash est une version « légère » de Gemini ; la version Pro ou Ultra pourrait donner des résultats différents.

La stack complète publiée : un cadeau empoisonné pour OpenAI ?

Ce qui distingue VideoChat3 des annonces précédentes, c’est l’ampleur de la publication open source. Le dépôt GitHub (MCG-NJU/VideoChat3) et la collection Hugging Face (MCG-NJU) contiennent :

• Les poids du modèle (4B paramètres)
• Le code d’entraînement complet
• La stratégie d’entraînement détaillée
• Trois jeux de données personnalisés, totalisant environ 3 millions d’échantillons d’instruction

C’est un niveau de transparence rare dans le domaine de la vidéo. Alors que GPT-5 et Gemini gardent jalousement leurs secrets industriels, VideoChat3 offre aux chercheurs et aux développeurs la possibilité de reproduire les résultats, de fine-tuner le modèle sur leurs propres données, et même d’améliorer l’architecture.

Pour OpenAI et Google, c’est une pression supplémentaire. Non seulement un modèle open source les bat sur un benchmark clé, mais en plus il partage la recette. La démocratisation de la recherche en grounding vidéo pourrait accélérer l’innovation dans des domaines comme la vidéosurveillance intelligente, l’analyse sportive (détection d’actions), l’éducation (indexation de cours vidéo) ou le montage automatique. Les barrières à l’entrée s’effondrent : avec un bon GPU, n’importe quel laboratoire peut désormais fine-tuner VideoChat3 pour une application verticale.

VideoChat3 face aux autres open source : Qwen3-VL, LLaVA-Video, InternVideo2

Comment se positionne VideoChat3 par rapport aux autres modèles open source récents ? Les données disponibles sont limitées, mais on peut esquisser une comparaison.

• Qwen3-VL (Alibaba) : modèle généraliste vision-langage, très performant en compréhension d’image, mais moins spécialisé vidéo. VideoChat3 génère deux fois moins de tokens visuels, ce qui lui donne un avantage en latence. Aucun benchmark commun n’est disponible, mais Qwen3-VL n’a pas été évalué sur TimeLens.
• LLaVA-Video (équipe LLaVA) : extension vidéo de LLaVA, basée sur un ViT classique. Ses performances en grounding temporel sont inférieures, selon les dires des auteurs de VideoChat3 (non vérifié indépendamment).
• InternVideo2 (Shanghai AI Lab – co-auteur de VideoChat3) : modèle vidéo antérieur, probablement dépassé par VideoChat3 sur les mêmes benchmarks.

Le principal compromis est le suivant : VideoChat3 est un modèle spécialisé vidéo de 4B paramètres, tandis que Qwen3-VL ou LLaVA-Video sont des modèles généralistes plus gros (7B à 72B). Pour une application qui n’a besoin que de vidéo, VideoChat3 offre un meilleur rapport performance/taille. Pour une application multimodale (image + vidéo + texte), un modèle généraliste reste plus polyvalent.

En l’absence de benchmarks communs indépendants (comme le MLPerf ou Ego4D), il est difficile de trancher. Les développeurs devront tester sur leurs propres cas d’usage.

Et maintenant ? Ce que ce résultat change pour l’écosystème multimodal

L’annonce de VideoChat3 a plusieurs conséquences, au-delà du simple exploit technique.

1. Pression sur les modèles propriétaires
OpenAI et Google ne peuvent plus ignorer le grounding vidéo. GPT-5, pourtant présenté comme un modèle multimodal unifié, est largement battu sur cette tâche spécifique. Il est probable que les prochaines versions intègrent des mécanismes similaires à I3D-ViT.

2. Fine-tuning low-cost pour applications verticales
Avec des poids de 4B, VideoChat3 peut être fine-tuné sur un seul GPU haut de gamme (A100 ou H100). Des applications comme l’analyse de vidéos de drones, le résumé automatique de réunions, ou la recherche dans des archives de surveillance deviennent accessibles à des startups et des laboratoires modestes.

3. La question de la confiance
Tant que les résultats ne seront pas répliqués par un tiers indépendant, il faut les prendre avec des pincettes. L’histoire récente de l’IA regorge de scores auto-déclarés qui ne tenaient pas la route après vérification. Un benchmark comme Ego4D ou une évaluation par la communauté (via un leaderboard ouvert) serait le bienvenu.

4. Perspectives de recherche
VideoChat3 pourrait servir de base à des modèles encore plus performants : fusion avec un LLM plus gros (comme Llama 4 ou DeepSeek V3), ajout de grounding spatial 3D (localisation dans l’espace vidéo), ou intégration de flux audio. La publication de la stack complète permet à la communauté de s’emparer du sujet.

En conclusion, VideoChat3 marque un tournant : pour la première fois, un modèle open source spécialisé vidéo surpasse les géants propriétaires sur une tâche aussi exigeante que le grounding temporel. Reste à confirmer ces résultats de manière indépendante. Mais le signal est fort : l’open source n’est plus seulement un suiveur, il devient un leader dans un domaine clé de l’IA multimédia. Les prochains mois nous diront si cette avance se confirme ou si les laboratoires propriétaires riposteront.

Sources

• TechTimes, « VideoChat3 beats GPT-5 on video grounding: Open-source, full training stack released », 19 juillet 2026. Lien
• Dépôt GitHub MCG-NJU/VideoChat3. Lien
• Collection Hugging Face MCG-NJU. Lien
• LinkedIn, « OpenAI GPT-5 est là : décryptage détaillé du modèle », 2025. Lien
• DailyIA, « GPT-5 : nouvelle IA multimodale OpenAI », 2025. Lien
• Introl, « DeepSeek V3.2 beats GPT-5 on benchmarks », décembre 2025. Lien
• Aruco, « GPT-5.2 OpenAI / Gemini Google », 2026. Lien

Article recherché et rédigé automatiquement · Magazine Electrosens