A LivePortrait az egyik legszélesebb körben használt, nyílt forráskódú portréanimációs projekt — egy kutatási modell, amely egyetlen álló portréból „életre keltett” videót készít, és egy vezérlővideóból az arckifejezést és a fejmozgást az arcra viszi át. Ha folyton belefutsz a nevébe, és közérthetően szeretnél választ kapni arra, mi a LivePortrait, hogyan futtatható, és kiválthatja-e a hosztolt, beszélő avataros eszközöket, akkor ez az útmutató neked szól. Forrásprojekt: github.com/KwaiVGI/LivePortrait.
Mi a LivePortrait?
A LivePortrait egy hatékony portréanimációs keretrendszer. Ha megadsz egy forrás arcképet és egy vezérlőjelet — jellemzően egy rövid videót valakiről, aki mozog és beszél —, akkor egy új videót állít elő, amelyben a forrásportré tükrözi ezt a mozgást, beleértve a finom arckifejezéseket, a szem- és ajakmozgást is. A nehezebb, diffúzióalapú megközelítésekhez képest gyors és jól kontrollálható megoldásként ismert.
A legfontosabb, amit érdemes megérteni: a LivePortrait fejlesztői eszköz, nem egy hosztolt weboldal. Nincs regisztrációs oldal és nincs böngészős app. Helyben telepíted Python segítségével, és parancssorból vagy egy demófelületen futtatod. Ez rugalmassá és ingyenesen futtathatóvá teszi, de azt is jelenti, hogy valódi beállításra és egy megfelelő GPU-ra is szükség van.
Hogyan futtasd a LivePortraitot
A LivePortrait helyben fut, ezért az első animáció előtt néhány előfeltételre szükséged lesz.
Előfeltételek
- Egy gép NVIDIA GPU-val (csak CPU-val is megoldható, de lassú).
- Python és egy csomagkezelő, például conda.
- Git, a repó klónozásához és a modell súlyainak letöltéséhez.
Beállítás
- Klónozd a repót a hivatalos GitHub-projektből, és telepítsd a Python-függőségeket.
- Töltsd le az előtanított súlyokat a projekt README-jében leírtak szerint.
- Futtass inferenciát a forrásportréddal és egy vezérlővideóval az animált eredmény elkészítéséhez, vagy indítsd el a mellékelt demófelületet.
Mivel ez egy kutatási projekt, az első alkalommal számíts rá, hogy át kell olvasnod a README-t és az issue-kat, illetve neked kell kezelned a saját környezetedet és a frissítéseket.
LivePortrait vs. hosztolt beszélő avataros eszköz
A LivePortrait és a hosztolt avatareszközök más problémákat oldanak meg.
- A LivePortraitot válaszd, ha otthonosan mozogsz a Pythonban és a GPU-k világában, kutatási szintű kontrollt szeretnél az animáció felett, és a sebességnél fontosabb egy ingyenes, self-hosted megoldás.
- Hosztolt eszközt válassz, ha gyorsan szeretnél kész, beszélő videót, beállítás nélkül. A VisionStory egyetlen fotóból és egy szövegből percek alatt ajakszinkronos, beszélő avatar videót készít közvetlenül a böngésződben — nincs Python, nincs GPU, és nem kell vezérlővideót rögzítened.
Ha a célod egy beszélő előadó egy fotóból és egy szövegből, akkor általában egy hosztolt avatareszköz a gyorsabb út. Nézd meg, hogyan működik az AI videó készítés résznél, vagy készíts egy gyors beszélő fotót az összehasonlításhoz.
Beszélő videót szeretnél telepítés nélkül? Próbáld ki ingyen a VisionStoryt — tölts fel egy fotót, írj be egy szöveget, és percek alatt kapsz egy megosztható, beszélő avatar videót.