LongCat-Video-Avatar 1.5 : nous avons testé le modèle open source de vidéo d’avatar parlant

Meituan a open-sourcé LongCat-Video-Avatar 1.5, et il fait exactement ce que VisionStory fait au cœur du produit — transformer une photo fixe plus une piste audio en une vidéo d’avatar parlant. De quoi nous rendre assez curieux pour l’exécuter pour de vrai. Voici un démontage pratique : ce que c’est, ses performances réelles, les cinq pièges d’installation que nous avons rencontrés, et ce que cela coûte de l’exécuter soi-même par rapport à un outil hébergé. Source : github.com/meituan-longcat/LongCat-Video (MIT).

Qu’est-ce que LongCat-Video-Avatar, et qui l’a créé ?

LongCat-Video-Avatar 1.5 est un modèle vidéo humaine pilotée par l’audio à poids ouverts, proposé par Meituan (l’équipe LongCat). Il s’appuie sur le modèle de fondation LongCat-Video et est publié sous la licence permissive MIT — réellement gratuit pour un usage commercial. En 2026-07, le dépôt de code affiche environ 5 200 étoiles GitHub et les poids 1.5 comptent parmi les sorties récentes les plus appréciées sur Hugging Face.

Il prend en charge trois tâches natives : Audio + Text to Video (AT2V, sans image de référence), Audio + Text + Image to Video (ATI2V — une photo de référence pilote l’identité, le cas qui correspond à un vrai workflow d’avatar), et la continuation vidéo pour prolonger un clip au-delà d’un seul segment. La version 1.5 a remplacé l’encodeur audio par Whisper-Large, ce qui lui donne ses mouvements de lèvres. Point important : il pilote les lèvres et les expressions à partir de l’audio que vous lui donnez — il ne génère pas et ne clone pas de voix.

On l’a vraiment exécuté (une seule A800-40GB)

Pas de poudre aux yeux — nous avons exécuté les trois tâches sur une seule NVIDIA A800-SXM4-40GB (torch 2.8+cu128, driver 550), dans la configuration du modèle quantifiée en INT8 + distillation en 8 étapes, indispensable pour faire tenir un modèle de diffusion vidéo de cette taille sur une carte de 40 Go. Voici le déroulé, sans filtre.

Les cinq pièges que nous avons rencontrés

• Dépendance manquante pour la séparation vocale. Le pipeline audio nécessite un modèle Kim_Vocal_2 via audio-separator, qui n’est pas dans les requirements par défaut — le premier lancement a planté jusqu’à pip install audio-separator==0.30.2.
• Le writer vidéo a explosé. L’enregistrement des frames a échoué avec l’erreur TiffWriter got an unexpected keyword argument fps parce que imageio ne trouvait pas de writer ffmpeg — corrigé avec pip install imageio-ffmpeg==0.6.0.
• Blocages en multi-GPU. Exécuter un job sur plusieurs cartes (context-parallel size 2 ou 8) s’est figé sur une désynchronisation collective NCCL — les deux ranks s’attendaient mutuellement jusqu’à l’arrêt par timeout à 600 s. Nous n’avons pu exécuter qu’en mono-carte. Les poids INT8 tiennent sur une carte de 40 Go, donc le multi-GPU n’était utile que pour lancer des jobs séparés en parallèle, pas pour accélérer un seul job.
• Out-of-memory au deuxième segment. Les clips longs se construisent en enchaînant segment après segment, et l’étape de continuation gardait un KV-cache de 48 couches en mémoire. Sur une carte de 40 Go, le deuxième segment a atteint le pic et a crashé — il manquait environ 160 MiB pour que ça passe. Nous avons dû exposer et activer un flag --offload_kv_cache (déplacer le cache vers la RAM CPU et le recharger à chaque étape) et définir PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True. Ça marche, au prix de segments plus lents.
• Alignement de la résolution. Le 480p sous parallélisme multi-cartes a déclenché une contrainte de divisibilité par 64 sur la hauteur et la largeur ; le mono-carte l’évite.

Vitesse et mémoire (mesurées)

Voici le chiffre qui compte : un clip de 82 secondes a pris 3 586 secondes — un peu moins d’une heure — sur l’A800, soit environ 44 secondes de calcul pour chaque 1 seconde de vidéo finalisée (environ 138 s par segment généré sur 26 segments). Un clip court de 10 secondes serait quand même autour de 7 minutes. Et ce n’est pas une charge légère : la VRAM est montée en quelques secondes puis est restée bloquée à 40 500 MiB — 98,9 % de la carte de 40 Go — pendant tout le rendu. Voici l’usage réel que nous avons échantillonné une fois par seconde :

Exemples que nous avons rendus

Chaque extrait ci-dessous a été rendu par nos soins sur l’A800 décrit plus haut. Pour évaluer le modèle dans ses scénarios prévus, nous les avons générés à partir des entrées de démo officielles du projet (portraits de référence et audio), plutôt que de sélectionner les nôtres — ce sont donc des résultats honnêtes, non triés sur le volet, et non une bande-annonce. Les deux premiers extraits ont chacun été générés à partir de leur propre photo de référence :

À gauche : la référence pour l’extrait photo + audio. À droite : la référence pour l’extrait multi-intervenants (une image, deux personnes). Le troisième extrait ci-dessous combine texte + audio sans photo de référence — le modèle invente la personne, et c’est là qu’il est le moins performant.

Rendu par VisionStory avec LongCat-Video-Avatar 1.5 sur une NVIDIA A800, le 2026-07-15, en résolution de classe 480p (768×512 / 832×480), en utilisant les entrées de démo officielles du modèle.

Verdict honnête : solide avec une photo, plus bancal sans

Ce qui nous a vraiment impressionnés :

• L’identité tient. Dans le clip piloté par photo, la personne reste la même tout au long des 82 secondes — cheveux, tenue, visage — tandis que la bouche suit l’audio. C’est le cas qui compte pour les avatars, et ça marche.
• Le multi-intervenants fonctionne vraiment. Deux personnes dans une même scène, chacune pilotée sur les lèvres par sa propre piste audio, restent cohérentes — un problème réellement difficile à résoudre.
• MIT et niveau production. Poids ouverts, pas de facturation par rendu, et une qualité de sortie qui passe sur un clip court.

Là où ça s’écroule — et c’est du réel :

• La génération texte-seul dérive. Sans photo de référence, le modèle invente la personne, et sur un clip long le visage se déforme vers un gros plan étrange et cireux, et la scène bouge — visible dans le troisième exemple ci-dessus.
• C’est lent et lourd. ~44 s de calcul pour 1 s de vidéo, en saturant une carte de 40 Go tout du long. Un clip de 82 secondes, c’est une heure.
• 40 Go, c’est le minimum. Notre exécution a nécessité INT8 + distill juste pour tenir, et les clips multi-segments n’ont survécu qu’en déchargeant le KV-cache sur le CPU. Les cartes plus petites sont exclues.
• Mono-carte uniquement, en pratique. Le context-parallel multi-GPU s’est bloqué sur notre machine, donc pas de moyen simple d’accélérer un clip en ajoutant des cartes.
• Pas de voix. Il pilote les lèvres à partir de l’audio que vous fournissez — il ne fait ni texte en parole ni clonage de voix, il vous faut donc une source de voix séparée.
• 480p, avec ce matériel. Ce que nous avons pu exécuter sur une seule carte de 40 Go, c’était une sortie de classe 480p.

Auto-héberger LongCat vs un outil hébergé : que choisir ?

Les deux produisent la même chose — une photo plus de l’audio devient une vidéo parlante. La différence tient entièrement à ce que cela vous coûte pour y arriver. Un outil hébergé comme VisionStory exécute le modèle pour vous ; voici le compromis, sans langue de bois.

Choisissez LongCat si vous avez le matériel et que le travail doit réellement être auto-hébergé — on-prem, hors ligne, ou entièrement sous votre contrôle — et si vous êtes à l’aise avec la maintenance d’une stack CUDA. Choisissez un outil hébergé si vous voulez la même vidéo parlante photo + audio sans une heure de calcul et un GPU à cinq chiffres.

Ce que LongCat nous a appris

La vraie leçon de l’exécution de LongCat-Video-Avatar, c’est que la qualité des vidéos d’avatars open-source est arrivée — avec une photo de référence, ce modèle gratuit produit des clips suffisamment bons pour un usage réel. Le modèle n’est plus la partie difficile.

La partie difficile, c’est tout ce qu’il y a autour : faire tenir un modèle de diffusion vidéo sur une carte que vous pouvez vous payer, survivre aux OOM au deuxième segment, attendre une heure pour 82 secondes, et l’associer à une voix. Cet écart — entre un checkpoint capable et une vidéo parlante finalisée que n’importe qui peut créer — c’est exactement notre travail. Si vous voulez voir l’autre côté, VisionStory transforme une photo et un script en avatar parlant synchronisé sur les lèvres dans votre navigateur en quelques secondes, et si vous avez aussi besoin de la voix, notre démontage du TTS open-source couvre l’état actuel de cette moitié-là.