LongCat-Video-Avatar 1.5: Testamos o Modelo Open Source de Vídeo de Avatar Falante

A Meituan abriu o código do LongCat-Video-Avatar 1.5, e ele faz exatamente o que a VisionStory faz no seu núcleo — transformar uma foto estática mais uma faixa de áudio em um vídeo de avatar falante. Isso nos deixou curiosos o suficiente para realmente rodar o modelo. Este é um teardown na prática: o que ele é, quão bem ele realmente performa, as cinco armadilhas de setup que pegamos, e quanto custa rodar por conta própria versus usar uma ferramenta hospedada. Fonte: github.com/meituan-longcat/LongCat-Video (MIT).

O que é o LongCat-Video-Avatar e quem o criou?

LongCat-Video-Avatar 1.5 é um modelo de vídeo humano guiado por áudio, com pesos abertos, da Meituan (equipe LongCat). Ele é construído sobre o modelo fundacional LongCat-Video e lançado sob a licença permissiva MIT — realmente gratuito para uso comercial. Em 2026-07, o repositório de código tinha cerca de 5,200 estrelas no GitHub e os pesos 1.5 estão entre os lançamentos recentes mais curtidos no Hugging Face.

Ele oferece três tarefas nativas: Áudio + Texto para Vídeo (AT2V, sem imagem de referência), Áudio + Texto + Imagem para Vídeo (ATI2V — uma foto de referência determina a identidade, o caso que bate com um fluxo real de avatar), e continuação de vídeo para estender um clipe além de um único segmento. A versão 1.5 trocou para um codificador de áudio Whisper-Large, que é o que dá o movimento labial. E, importante: ele move os lábios e a expressão a partir de qualquer áudio que você fornecer — ele não gera nem clona uma voz.

Nós realmente rodamos (uma única A800-40GB)

Sem papo furado — executamos as três tarefas em uma única NVIDIA A800-SXM4-40GB (torch 2.8+cu128, driver 550), na configuração do modelo quantizada em INT8 + distill de 8 etapas, que é o necessário para encaixar um modelo de difusão de vídeo desse porte em uma placa de 40 GB. Aqui vai o relato honesto, passo a passo.

As cinco armadilhas que encontramos

• Dependência de separação vocal faltando. O pipeline de áudio precisa de um modelo Kim_Vocal_2 via audio-separator, que não está nos requisitos padrão — a primeira execução morreu até pip install audio-separator==0.30.2.
• O gravador de vídeo quebrou. Salvar os frames falhou com o erro TiffWriter got an unexpected keyword argument fps porque o imageio não conseguiu encontrar um writer do ffmpeg — corrigido com pip install imageio-ffmpeg==0.6.0.
• Deadlocks em multi-GPU. Rodar um job em várias placas (context-parallel size 2 ou 8) travou em um desync de collective do NCCL — ambos os ranks ficaram esperando um ao outro até um timeout de 600s abortar a execução. Só conseguimos rodar em uma única placa. Os pesos INT8 cabem em uma placa de 40 GB, então multi-GPU só foi útil para rodar jobs separados em paralelo, não para acelerar um único job.
• Sem memória no segundo segmento. Clipes longos são construídos continuando segmento após segmento, e a etapa de continuação mantinha um KV-cache de 48 camadas residente. Em uma placa de 40 GB, o segundo segmento levou a placa ao pico e travou — faltando cerca de 160 MiB para caber. Tivemos que expor e habilitar a flag --offload_kv_cache (mover o cache para RAM da CPU e paginar de volta a cada etapa), além de definir PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True. Funciona, ao custo de segmentos mais lentos.
• Alinhamento de resolução. 480p sob paralelismo multi-placa acionou uma restrição de altura e largura divisíveis por 64; em placa única isso não acontece.

Velocidade e memória (medidas)

Este é o número que importa: um clipe de 82 segundos levou 3,586 segundos — pouco menos de uma hora — na A800, ou cerca de 44 segundos de computação para cada 1 segundo de vídeo finalizado (aprox. 138s por segmento gerado, ao longo de 26 segmentos). Um clipe curto de 10 segundos ainda ficaria em torno de 7 minutos. E não é uma carga leve: a VRAM subiu em segundos e depois ficou cravada em 40,500 MiB — 98.9% da placa de 40 GB — durante todo o render. Aqui está o uso real que amostramos uma vez por segundo:

Amostras que renderizamos

Todos os clipes abaixo foram renderizados por nós no A800 descrito acima. Para avaliar o modelo nos cenários para os quais ele foi pensado, usamos as entradas oficiais de demonstração do próprio projeto (retratos de referência e áudio), em vez de selecionarmos as nossas — então estes são resultados honestos, sem seleção a dedo, e não uma coletânea de melhores momentos. Os dois primeiros clipes foram gerados a partir de suas próprias fotos de referência:

À esquerda: a referência para o clipe de foto + áudio. À direita: a referência para o clipe com vários locutores (uma imagem, duas pessoas). O terceiro clipe abaixo usa texto + áudio sem foto de referência — o modelo inventa a pessoa, e é aí que ele fica mais fraco.

Renderizado pela VisionStory com LongCat-Video-Avatar 1.5 em uma NVIDIA A800, em 2026-07-15, em resolução de classe 480p (768×512 / 832×480), usando as entradas oficiais de demo do modelo.

Veredito honesto: forte com foto, irregular sem foto

O que realmente nos impressionou:

• A identidade se mantém. No clipe guiado por foto, a pessoa continua sendo a mesma ao longo de todos os 82 segundos — cabelo, roupa, rosto — enquanto a boca acompanha o áudio. Este é o caso que importa para avatares, e funciona.
• Vários participantes realmente funciona. Duas pessoas em uma cena, cada uma com o lip-sync guiado pela sua própria faixa de áudio, permaneceram coerentes — algo genuinamente difícil de acertar.
• MIT e nível comercial. Pesos abertos, sem cobrança por render, e qualidade de saída que passaria em um clipe curto.

Onde ele tropeça — e isso é real:

• A geração só com texto deriva. Sem uma foto de referência, o modelo inventa a pessoa e, ao longo de um clipe longo, o rosto se deforma para um close estranho, com aparência encerada, e a cena muda — visível na terceira amostra acima.
• É lento e pesado. ~44s de computação por 1s de vídeo, mantendo uma placa de 40 GB no limite o tempo todo. Um clipe de 82 segundos é uma hora.
• 40 GB é o mínimo. Nosso teste precisou de INT8 + distill só para caber, e clipes com vários segmentos só sobreviveram descarregando o KV-cache para a CPU. Placas menores estão fora.
• Na prática, só placa única. O context-parallel multi-GPU travou com deadlock na nossa máquina, então não há um jeito fácil de deixar um clipe mais rápido apenas adicionando placas.
• Sem voz. Ele move os lábios a partir do áudio que você fornece — não faz texto para fala nem clonagem de voz, então você ainda precisa de uma fonte de voz separada.
• 480p, nesse hardware. O que conseguimos rodar em uma única placa de 40 GB foi saída de classe 480p.

Self-host do LongCat vs uma ferramenta hospedada: qual escolher?

Ambos produzem a mesma coisa — uma foto mais áudio vira um vídeo falante. A diferença está totalmente no que custa para você chegar lá. Uma ferramenta hospedada como a VisionStory roda o modelo por você; aqui vai o trade-off honesto.

Escolha o LongCat se você tem o hardware e o trabalho realmente precisa ser self-host — on-prem, offline, ou totalmente sob seu controle — e você está confortável em manter uma stack CUDA. Escolha uma ferramenta hospedada se você quer o mesmo vídeo falante de foto + áudio sem uma hora de computação e uma GPU de cinco dígitos.

O que o LongCat nos ensinou

A grande lição de rodar o LongCat-Video-Avatar é que a qualidade de vídeo de avatar open-source chegou — com uma foto de referência, este modelo gratuito produz clipes bons o suficiente para uso real. O modelo deixou de ser a parte difícil.

A parte difícil é tudo em volta: fazer um modelo de difusão de vídeo caber em uma placa que você consegue pagar, sobreviver a OOM no segundo segmento, esperar uma hora por 82 segundos e combiná-lo com uma voz. Esse vão — entre um checkpoint competente e um vídeo falante finalizado que qualquer pessoa consegue fazer — é exatamente o trabalho que fazemos. Se você quiser ver o outro lado disso, a VisionStory transforma uma foto e um roteiro em um avatar falante com lip-sync no seu navegador em segundos e, se você precisar da voz também, nosso teardown de TTS open-source mostra onde essa metade está hoje.