LongCat-Video-Avatar 1.5: Kami Menjalankan Model Video Avatar-Bicara Open-Source

Meituan meng-open-source LongCat-Video-Avatar 1.5, dan ia melakukan persis apa yang VisionStory lakukan di intinya — mengubah foto diam plus trek audio menjadi video talking avatar. Itu membuat kami cukup penasaran untuk benar-benar menjalankannya. Ini adalah teardown berbasis uji langsung: apa itu, seberapa bagus performanya sebenarnya, lima jebakan setup yang kami temui, dan berapa biayanya jika Anda menjalankan sendiri versus memakai tool ter-host. Sumber: github.com/meituan-longcat/LongCat-Video (MIT).

Apa itu LongCat-Video-Avatar, dan siapa yang membuatnya?

LongCat-Video-Avatar 1.5 adalah model video manusia yang digerakkan oleh audio dengan bobot terbuka dari Meituan (tim LongCat). Model ini dibangun di atas foundation model LongCat-Video dan dirilis dengan lisensi MIT yang permisif — benar-benar gratis untuk penggunaan komersial. Per 2026-07, repo kodenya memiliki sekitar 5.200 bintang GitHub dan bobot versi 1.5 termasuk rilis terbaru yang cukup disukai di Hugging Face.

Ia mendukung tiga tugas native: Audio + Text to Video (AT2V, tanpa gambar referensi), Audio + Text + Image to Video (ATI2V — foto referensi mengendalikan identitas, kasus yang paling cocok dengan workflow avatar nyata), dan kelanjutan video untuk memperpanjang klip melewati satu segmen. Versi 1.5 mengganti encoder audio menjadi Whisper-Large, yang memberi gerak bibirnya. Yang penting, ia menggerakkan bibir dan ekspresi dari audio apa pun yang Anda berikan — ia tidak menghasilkan atau mengkloning suara.

Kami benar-benar menjalankannya (1x A800-40GB)

Tanpa basa-basi — kami menjalankan ketiga tugas pada satu NVIDIA A800-SXM4-40GB (torch 2.8+cu128, driver 550), dengan konfigurasi model terkuantisasi INT8 + distill 8 langkah, yang memang dibutuhkan agar model video-diffusion sebesar ini bisa muat di kartu 40 GB. Berikut play-by-play yang jujur.

Lima jebakan yang kami temui

• Dep pemisahan vokal tidak ada. Pipeline audio butuh model Kim_Vocal_2 lewat audio-separator, yang tidak ada di requirements default — run pertama langsung gagal sampai pip install audio-separator==0.30.2.
• Video writer error. Penyimpanan frame gagal dengan error TiffWriter got an unexpected keyword argument fps karena imageio tidak menemukan writer ffmpeg — beres dengan pip install imageio-ffmpeg==0.6.0.
• Deadlock multi-GPU. Menjalankan satu job di beberapa kartu (context-parallel size 2 atau 8) hang karena desync collective NCCL — kedua rank saling menunggu sampai timeout 600 dtk membatalkan run. Kami hanya bisa jalan satu kartu. Bobot INT8 memang muat di satu kartu 40 GB, jadi multi-GPU hanya berguna untuk menjalankan job terpisah secara paralel, bukan untuk mempercepat satu job.
• Kehabisan memori di segmen kedua. Klip panjang dibuat dengan melanjutkan segmen demi segmen, dan langkah continuation mempertahankan KV-cache 48 layer tetap resident. Di kartu 40 GB, segmen kedua membuat penggunaan memori puncak dan crash — kurang sekitar 160 MiB agar muat. Kami harus mengekspos dan mengaktifkan flag --offload_kv_cache (memindahkan cache ke RAM CPU dan mem-page kembali per step) plus set PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True. Berhasil, dengan konsekuensi segmen jadi lebih lambat.
• Penyelarasan resolusi. 480p saat paralel multi-kartu memicu constraint tinggi dan lebar harus habis dibagi 64; satu kartu menghindarinya.

Kecepatan dan memori (terukur)

Inilah angka yang paling penting: klip 82 detik memakan 3.586 detik — sedikit di bawah 1 jam — di A800, atau sekitar 44 detik komputasi untuk setiap 1 detik video jadi (kira-kira 138 dtk per segmen yang dihasilkan, total 26 segmen). Klip pendek 10 detik pun tetap sekitar 7 menit. Dan bebannya tidak ringan: VRAM naik dalam hitungan detik lalu terkunci di 40.500 MiB — 98,9% dari kartu 40 GB — sepanjang render. Berikut pemakaian aktual yang kami sampel sekali per detik:

Sampel yang kami render

Setiap klip di bawah ini dirender oleh kami di A800 yang dijelaskan di atas. Untuk menguji model pada skenario yang memang dituju, kami menjalankannya dengan input demo resmi milik proyek tersebut (potret referensi dan audio), bukan memilih dan menyusun input kami sendiri — jadi ini adalah output yang jujur, tanpa cherry-pick, bukan kompilasi highlight. Dua klip pertama masing-masing dijalankan dengan foto referensinya sendiri:

Kiri: referensi untuk klip foto + audio. Kanan: referensi untuk klip multi-speaker (satu gambar, dua orang). Klip ketiga di bawah menjalankan teks + audio tanpa foto referensi — modelnya menciptakan sosoknya sendiri, dan di situlah performanya paling lemah.

Dirender oleh VisionStory dengan LongCat-Video-Avatar 1.5 pada NVIDIA A800, 2026-07-15, pada resolusi kelas 480p (768×512 / 832×480), memakai input demo resmi model.

Kesimpulan jujur: kuat dengan foto, kacau tanpa foto

Yang benar-benar mengesankan kami:

• Identitas konsisten. Di klip yang digerakkan foto, orangnya tetap orang yang sama sepanjang 82 detik — rambut, pakaian, wajah — sementara mulut mengikuti audio. Ini yang paling penting untuk avatar, dan hasilnya berhasil.
• Multi-speaker benar-benar jalan. Dua orang dari satu scene, masing-masing lip-sync digerakkan oleh trek audio sendiri, tetap koheren — ini memang sulit untuk dilakukan dengan benar.
• MIT dan layak komersial. Bobot terbuka, tanpa biaya per render, dan kualitas output yang cukup lolos untuk klip pendek.

Di mana ia jatuh — dan ini nyata:

• Generasi teks-saja makin melenceng. Tanpa foto referensi, model “menciptakan” orangnya, dan dalam klip panjang wajah berubah jadi close-up yang aneh dan seperti lilin, sementara scene ikut bergeser — terlihat pada sampel ketiga di atas.
• Lambat dan berat. ~44 dtk komputasi per 1 dtk video, mengunci kartu 40 GB sepanjang waktu. Klip 82 detik = 1 jam.
• 40 GB adalah batas minimal. Run kami butuh INT8 + distill hanya agar muat, dan klip multi-segmen hanya selamat dengan offload KV-cache ke CPU. Kartu yang lebih kecil tidak mungkin.
• Praktiknya hanya satu kartu. Context-parallel multi-GPU deadlock di mesin kami, jadi tidak ada cara mudah mempercepat satu klip hanya dengan menambah kartu.
• Tanpa suara. Ia menggerakkan bibir dari audio yang Anda berikan — tidak melakukan text-to-speech atau kloning suara, jadi Anda tetap butuh sumber suara terpisah.
• 480p, di hardware ini. Yang bisa kami jalankan di satu kartu 40 GB adalah output kelas 480p.

Self-host LongCat vs tool ter-host: sebaiknya pilih yang mana?

Keduanya menghasilkan hal yang sama — foto plus audio menjadi video talking. Bedanya sepenuhnya ada pada biaya yang harus Anda keluarkan untuk sampai ke sana. Tool ter-host seperti VisionStory menjalankan modelnya untuk Anda; berikut trade-off yang jujur.

Pilih LongCat jika Anda punya hardware-nya dan pekerjaannya memang harus di-self-host — on-prem, offline, atau sepenuhnya di bawah kendali Anda — dan Anda nyaman merawat stack CUDA. Pilih tool ter-host jika Anda ingin video talking foto-plus-audio yang sama tanpa komputasi 1 jam dan GPU berharga puluhan ribu dolar.

Apa yang LongCat ajarkan kepada kami

Pelajaran sebenarnya dari menjalankan LongCat-Video-Avatar adalah bahwa kualitas avatar-video open-source sudah tiba — dengan foto referensi, model gratis ini menghasilkan klip yang cukup bagus untuk penggunaan nyata. Modelnya bukan lagi bagian tersulit.

Yang sulit adalah semua hal di sekitarnya: membuat model video-diffusion muat di kartu yang sanggup Anda beli, selamat dari OOM di segmen kedua, menunggu 1 jam untuk 82 detik, dan memasangkannya dengan suara. Kesenjangan itu — antara checkpoint yang mumpuni dan video talking jadi yang bisa dibuat siapa pun — adalah persis pekerjaan yang kami lakukan. Jika Anda ingin melihat sisi lainnya, VisionStory mengubah foto dan naskah menjadi talking avatar lip-sync di browser Anda dalam hitungan detik, dan jika Anda juga butuh suaranya, teardown kami tentang TTS open-source membahas di mana posisi bagian itu sekarang.