LongCat-Video-Avatar 1.5: Wir haben das Open-Source-Sprechavatar-Videomodell getestet

Meituan hat LongCat-Video-Avatar 1.5 als Open Source veröffentlicht, und es macht im Kern genau das, was VisionStory macht — ein Standfoto plus eine Audiospur in ein Talking-Avatar-Video verwandeln. Das hat uns neugierig genug gemacht, es wirklich auszuführen. Das hier ist ein praktischer Deep-Dive: was es ist, wie gut es wirklich performt, die fünf Setup-Fallen, in die wir getappt sind, und was es kostet, es selbst zu betreiben versus ein gehostetes Tool. Quelle: github.com/meituan-longcat/LongCat-Video (MIT).

Was ist LongCat-Video-Avatar, und wer hat es gemacht?

LongCat-Video-Avatar 1.5 ist ein Open-Weights-audio-getriebenes Human-Video-Modell von Meituan (dem LongCat-Team). Es baut auf dem LongCat-Video-Foundation-Model auf und wurde unter der permissiven MIT-Lizenz veröffentlicht — wirklich frei für kommerzielle Nutzung. Stand 2026-07 hat das Code-Repo ungefähr 5 200 GitHub-Stars, und die 1.5-Weights zählen auf Hugging Face zu den beliebteren jüngeren Releases.

Es unterstützt drei native Tasks: Audio + Text to Video (AT2V, ohne Referenzbild), Audio + Text + Image to Video (ATI2V — ein Referenzfoto steuert die Identität, der Fall, der zu einem echten Avatar-Workflow passt) und Video-Continuation, um einen Clip über ein einzelnes Segment hinaus zu verlängern. Version 1.5 hat einen Whisper-Large-Audio-Encoder integriert, der die Lippenbewegung ermöglicht. Wichtig: Es steuert Lippen und Ausdruck aus dem Audio, das Sie ihm geben — es erzeugt oder klont keine Stimme.

Wir haben es wirklich laufen lassen (eine A800-40GB)

Kein Drumherumreden — wir haben alle drei Tasks auf einer einzelnen NVIDIA A800-SXM4-40GB (torch 2.8+cu128, Treiber 550) ausgeführt, in der Konfiguration INT8-quantisiert + 8-Schritt-Destill — genau das, was nötig ist, um ein Video-Diffusion-Modell dieser Größe auf eine 40 GB-Karte zu bekommen. Hier ist der ehrliche Ablauf.

Die fünf Fallen, in die wir getappt sind

• Fehlende Vocal-Separation-Dependency. Die Audio-Pipeline braucht ein Kim_Vocal_2-Modell über audio-separator, das nicht in den Standard-Requirements steckt — der erste Run ist sofort gestorben, bis pip install audio-separator==0.30.2.
• Video-Writer ist gecrasht. Das Speichern der Frames schlug mit TiffWriter got an unexpected keyword argument fps fehl, weil imageio keinen ffmpeg-Writer fand — gefixt mit pip install imageio-ffmpeg==0.6.0.
• Multi-GPU-Deadlocks. Einen Job über mehrere Karten laufen zu lassen (Context-Parallel Size 2 oder 8) hing bei einem NCCL-Collective-Desync — beide Ranks warteten aufeinander, bis ein 600s-Timeout den Run abbrach. Wir konnten nur Single-Card laufen lassen. Die INT8-Weights passen zwar auf eine 40 GB-Karte, daher war Multi-GPU ohnehin nur dafür nützlich, separate Jobs parallel zu fahren, nicht um einen Job zu beschleunigen.
• Out-of-Memory im zweiten Segment. Lange Clips entstehen, indem Segment für Segment fortgesetzt wird, und der Continuation-Schritt hielt einen 48-Layer-KV-Cache resident. Auf einer 40 GB-Karte hat das zweite Segment die Karte ausgereizt und ist gecrasht — etwa 160 MiB fehlten bis zum Fit. Wir mussten ein --offload_kv_cache-Flag freilegen und aktivieren (Cache in CPU-RAM verschieben und pro Step zurückpagen) und außerdem PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True setzen. Es funktioniert, allerdings auf Kosten langsamerer Segmente.
• Auflösungs-Alignment. 480p unter Multi-Card-Parallelismus scheiterte an einer durch-64-teilbar-Constraint für Höhe und Breite; Single-Card umgeht das.

Speed und Speicher (gemessen)

Das ist die Zahl, die zählt: Ein 82-Sekunden-Clip brauchte auf der A800 3 586 Sekunden — knapp unter einer Stunde — also etwa 44 Sekunden Rechenzeit für jede 1 Sekunde fertiges Video (rund 138 s pro generiertem Segment über 26 Segmente). Ein kurzer 10-Sekunden-Clip läge trotzdem bei etwa 7 Minuten. Und das ist keine leichte Last: Der VRAM schoss innerhalb von Sekunden hoch und war dann bei 40 500 MiB — 98,9% der 40 GB-Karte — für das komplette Rendering festgenagelt. Hier ist die tatsächliche Auslastung, die wir einmal pro Sekunde gesampelt haben:

Samples, die wir gerendert haben

Jeder Clip unten wurde von uns auf dem oben beschriebenen A800 gerendert. Um das Modell in seinen vorgesehenen Szenarien zu benchmarken, haben wir die offiziellen Demo-Inputs des Projekts (Referenzporträts und Audio) verwendet, statt eigene auszuwählen — das sind also ehrliche, nicht „cherry-picked“ Ergebnisse und kein Highlight-Reel. Die ersten beiden Clips wurden jeweils mit ihrem eigenen Referenzfoto erzeugt:

Links: die Referenz für den Foto- + Audio-Clip. Rechts: die Referenz für den Multi-Speaker-Clip (ein Bild, zwei Personen). Der dritte Clip unten wurde mit Text + Audio und ohne Referenzfoto erzeugt — das Modell erfindet die Person, und genau dort ist es am schwächsten.

Gerendert von VisionStory mit LongCat-Video-Avatar 1.5 auf einer NVIDIA A800, 2026-07-15, bei 480p-Klasse-Auflösung (768×512 / 832×480), mit den offiziellen Demo-Inputs des Modells.

Ehrliches Fazit: stark mit Foto, holprig ohne

Was uns wirklich beeindruckt hat:

• Identität bleibt stabil. Im foto-getriebenen Clip bleibt die Person über die gesamten 82 Sekunden dieselbe — Haare, Outfit, Gesicht — während der Mund dem Audio folgt. Das ist der entscheidende Fall für Avatare, und es funktioniert.
• Multi-Speaker funktioniert wirklich. Zwei Personen aus einer Szene, jeweils lippengetrieben durch die eigene Audiospur, blieben konsistent — eine wirklich schwierige Sache, die man korrekt hinbekommen muss.
• MIT und kommerziell nutzbar. Open Weights, keine Abrechnung pro Render, und eine Ausgabequalität, die in einem kurzen Clip bestehen würde.

Wo es schwächelt — und das ist real:

• Text-only-Generierung driftet. Ohne Referenzfoto erfindet das Modell die Person, und über einen langen Clip verformt sich das Gesicht zu einem unheimlichen, wachsartigen Close-up und die Szene verschiebt sich — sichtbar im dritten Sample oben.
• Es ist langsam und schwergewichtig. ~44 s Compute pro 1 s Video, mit einer 40 GB-Karte, die die ganze Zeit am Limit klebt. Ein 82-Sekunden-Clip ist eine Stunde.
• 40 GB sind das Minimum. Unser Run brauchte INT8 + Distill, nur um überhaupt zu passen, und Multi-Segment-Clips haben nur überlebt, indem der KV-Cache auf die CPU ausgelagert wurde. Kleinere Karten sind raus.
• In der Praxis nur Single-Card. Multi-GPU-Context-Parallel hat auf unserer Kiste deadlocked, also gibt es keinen einfachen Weg, einen Clip durch mehr Karten schneller zu machen.
• Keine Stimme. Es steuert Lippen aus dem Audio, das Sie liefern — es macht weder Text zu Sprache noch Voice-Cloning, Sie brauchen also weiterhin eine separate Audio-/Stimmenquelle.
• 480p bei dieser Hardware. Was wir auf einer einzelnen 40 GB-Karte laufen lassen konnten, war Output in der 480p-Klasse.

LongCat selbst hosten vs. ein gehostetes Tool: Was sollten Sie wählen?

Beide erzeugen dasselbe Ergebnis — ein Foto plus Audio wird zu einem Talking-Video. Der Unterschied liegt vollständig darin, was es Sie kostet, dorthin zu kommen. Ein gehostetes Tool wie VisionStory führt das Modell für Sie aus; hier ist der ehrliche Trade-off.

Wählen Sie LongCat, wenn Sie die Hardware haben und die Arbeit wirklich self-hosted sein muss — on-prem, offline oder vollständig unter Ihrer Kontrolle — und Sie sich zutrauen, einen CUDA-Stack zu warten. Wählen Sie ein gehostetes Tool, wenn Sie dasselbe Foto-plus-Audio-Talking-Video ohne eine Stunde Compute und eine fünfstellige GPU wollen.

Was LongCat uns gelehrt hat

Die eigentliche Erkenntnis aus dem Run von LongCat-Video-Avatar ist: Offene Avatar-Video-Qualität ist angekommen — mit einem Referenzfoto produziert dieses freie Modell Clips, die gut genug für den realen Einsatz sind. Das Modell ist nicht mehr der schwierige Teil.

Der schwierige Teil ist alles drumherum: ein Video-Diffusion-Modell auf eine Karte zu bekommen, die man sich leisten kann, OOM im zweiten Segment zu überleben, eine Stunde für 82 Sekunden zu warten und es mit einer Stimme zu kombinieren. Diese Lücke — zwischen einem fähigen Checkpoint und einem fertigen Talking-Video, das jeder erstellen kann — ist genau die Arbeit, die wir machen. Wenn Sie die andere Seite davon sehen wollen: VisionStory verwandelt ein Foto und ein Skript in Sekunden in Ihrem Browser in einen lip-syncenden Talking Avatar — und wenn Sie auch die Stimme brauchen, zeigt unser Teardown zu Open-Source TTS, wo diese Hälfte aktuell steht.