LongCat-Video-Avatar 1.5: Abbiamo Provato il Modello Open-Source per Video con Avatar Parlante

Meituan ha reso open source LongCat-Video-Avatar 1.5, e fa esattamente ciò che VisionStory fa nel suo nucleo — trasformare una foto statica più una traccia audio in un video con avatar parlante. La cosa ci ha incuriosito abbastanza da eseguirlo davvero. Questo è un teardown pratico: che cos’è, quanto rende davvero, le cinque trappole di setup in cui siamo incappati e quanto costa eseguirlo in proprio rispetto a uno strumento hosted. Fonte: github.com/meituan-longcat/LongCat-Video (MIT).

Che cos’è LongCat-Video-Avatar e chi l’ha creato?

LongCat-Video-Avatar 1.5 è un modello audio-driven human video a pesi aperti di Meituan (il team LongCat). È costruito sul foundation model LongCat-Video ed è rilasciato con la permissiva licenza MIT — davvero gratuito per l’uso commerciale. A luglio 2026 il repo del codice ha circa 5 200 stelle su GitHub e i pesi della 1.5 sono tra le release recenti più apprezzate su Hugging Face.

Supporta tre task nativi: Audio + Text to Video (AT2V, senza immagine di riferimento), Audio + Text + Image to Video (ATI2V — una foto di riferimento guida l’identità, il caso che corrisponde a un vero workflow di avatar) e video continuation per estendere una clip oltre un singolo segmento. La versione 1.5 ha sostituito l’encoder audio con Whisper-Large, che è ciò che gli dà il movimento delle labbra. È importante notare che guida labbra ed espressione a partire da qualunque audio tu gli fornisca — non genera né clona una voce.

L’abbiamo eseguito davvero (una sola A800-40GB)

Niente fumo — abbiamo eseguito tutti e tre i task su una singola NVIDIA A800-SXM4-40GB (torch 2.8+cu128, driver 550), nella configurazione del modello INT8-quantized + distill a 8 step, che è ciò che serve per far entrare un video-diffusion model di queste dimensioni su una scheda da 40 GB. Ecco il resoconto, senza filtri.

Le cinque trappole in cui siamo incappati

• Dipendenza mancante per la separazione vocale. La pipeline audio richiede un modello Kim_Vocal_2 tramite audio-separator, che non è tra i requisiti di default — la prima esecuzione si è fermata finché non abbiamo fatto pip install audio-separator==0.30.2.
• Il writer video è esploso. Il salvataggio dei frame falliva con un errore TiffWriter got an unexpected keyword argument fps perché imageio non trovava un writer ffmpeg — risolto con pip install imageio-ffmpeg==0.6.0.
• Deadlock multi-GPU. Eseguire un job su più schede (context-parallel size 2 o 8) si bloccava su un desync collettivo NCCL — entrambi i rank aspettavano l’uno l’altro finché un timeout di 600s interrompeva l’esecuzione. Siamo riusciti a farlo girare solo su singola scheda. I pesi INT8 entrano su una scheda da 40 GB, quindi il multi-GPU era utile solo per eseguire job separati in parallelo, non per accelerarne uno.
• Out-of-memory sul secondo segmento. Le clip lunghe si costruiscono continuando segmento dopo segmento, e lo step di continuation teneva residente una KV-cache a 48 layer. Su una scheda da 40 GB il secondo segmento saturava la scheda e andava in crash — mancavano circa 160 MiB per farlo entrare. Abbiamo dovuto esporre e abilitare un flag --offload_kv_cache (spostare la cache nella RAM CPU e ricaricarla per step) e impostare PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True. Funziona, al costo di segmenti più lenti.
• Allineamento della risoluzione. Il 480p sotto parallelismo multi-scheda faceva scattare un vincolo di divisibilità per 64 su altezza e larghezza; la singola scheda lo evita.

Velocità e memoria (misurate)

Questo è il numero che conta: una clip di 82 secondi ha richiesto 3 586 secondi — poco meno di un’ora — sulla A800, ovvero circa 44 secondi di calcolo per ogni 1 secondo di video finito (circa 138s per segmento generato su 26 segmenti). Anche una clip breve da 10 secondi sarebbe comunque intorno ai 7 minuti. E non è un carico leggero: la VRAM saliva in pochi secondi e poi restava inchiodata a 40 500 MiB — il 98,9% della scheda da 40 GB — per tutto il render. Ecco l’utilizzo reale che abbiamo campionato una volta al secondo:

Campioni che abbiamo renderizzato

Ogni clip qui sotto è stata renderizzata da noi sull’A800 descritto sopra. Per valutare il modello negli scenari per cui è stato pensato, le abbiamo generate usando gli input demo ufficiali del progetto (ritratti di riferimento e audio) invece di selezionarne di nostri — quindi questi sono risultati autentici, non selezionati ad hoc, non un montaggio dei momenti migliori. Le prime due clip sono state generate ciascuna con la propria foto di riferimento:

A sinistra: il riferimento per la clip foto + audio. A destra: il riferimento per la clip multi-speaker (un’immagine, due persone). La terza clip qui sotto usa testo + audio senza foto di riferimento — il modello inventa la persona, ed è qui che risulta più debole.

Renderizzato da VisionStory con LongCat-Video-Avatar 1.5 su una NVIDIA A800, 2026-07-15, a risoluzione di classe 480p (768×512 / 832×480), usando gli input demo ufficiali del modello.

Verdetto onesto: forte con una foto, ruvido senza

Cosa ci ha davvero impressionato:

• L’identità regge. Nella clip guidata dalla foto la persona resta la stessa per tutti gli 82 secondi — capelli, abbigliamento, volto — mentre la bocca segue l’audio. Questo è il caso che conta per gli avatar, e funziona.
• Il multi-speaker funziona davvero. Due persone in una scena, ognuna con le labbra guidate dalla propria traccia audio, restano coerenti — una cosa davvero difficile da fare bene.
• MIT e livello commerciale. Pesi aperti, niente costi per render, e una qualità dell’output che in una clip breve reggerebbe.

Dove crolla — e sono problemi reali:

• La generazione solo testo deriva. Senza una foto di riferimento il modello inventa la persona, e su una clip lunga il volto si deforma in un primo piano inquietante e ceroso e la scena cambia — lo si vede nel terzo campione sopra.
• È lento e pesante. ~44s di calcolo per 1s di video, con una scheda da 40 GB inchiodata per tutto il tempo. Una clip di 82 secondi è un’ora.
• 40 GB è il minimo. La nostra esecuzione ha richiesto INT8 + distill solo per entrare, e le clip multi-segmento sono sopravvissute solo scaricando la KV-cache sulla CPU. Schede più piccole sono escluse.
• In pratica solo singola scheda. Il context-parallel multi-GPU è andato in deadlock sulla nostra macchina, quindi non c’è un modo semplice per rendere più veloce una clip aggiungendo schede.
• Nessuna voce. Guida le labbra a partire dall’audio che fornisci — non fa text-to-speech né clonazione vocale, quindi ti serve comunque una fonte voce separata.
• 480p, con questo hardware. Ciò che siamo riusciti a far girare su una singola scheda da 40 GB era un output di classe 480p.

Self-host di LongCat vs uno strumento hosted: cosa scegliere?

Entrambi producono la stessa cosa — una foto più audio diventano un video parlante. La differenza sta tutta in quanto ti costa arrivarci. Uno strumento hosted come VisionStory esegue il modello al posto tuo; ecco il trade-off, senza giri di parole.

Scegli LongCat se hai l’hardware e il lavoro deve davvero essere in self-hosting — on-prem, offline o completamente sotto il tuo controllo — e ti senti a tuo agio nel mantenere uno stack CUDA. Scegli uno strumento hosted se vuoi lo stesso video parlante da foto + audio senza un’ora di calcolo e una GPU da cinque cifre.

Cosa ci ha insegnato LongCat

La vera lezione dell’esecuzione di LongCat-Video-Avatar è che la qualità dei video-avatar open è arrivata — con una foto di riferimento, questo modello gratuito produce clip abbastanza buone per un uso reale. Il modello non è più la parte difficile.

La parte difficile è tutto ciò che gli sta intorno: far entrare un video-diffusion model su una scheda che puoi permetterti, sopravvivere agli OOM sul secondo segmento, aspettare un’ora per 82 secondi e abbinarlo a una voce. Quel gap — tra un checkpoint capace e un video parlante finito che chiunque possa creare — è esattamente il lavoro che facciamo. Se vuoi vedere l’altra faccia della medaglia, VisionStory trasforma una foto e un copione in un avatar parlante con lip-sync nel tuo browser in pochi secondi; e se ti serve anche la voce, il nostro teardown sul TTS open source copre a che punto è arrivata anche quell’altra metà.