LivePortrait este unul dintre cele mai folosite proiecte open-source de animare a portretelor — un model de cercetare care pornește de la un singur portret static și îl aduce la viață, transferând expresia și mișcarea capului dintr-un videoclip de ghidare pe față. Dacă îl vezi menționat tot mai des și vrei un răspuns pe înțelesul tuturor despre ce este LivePortrait, cum se rulează și dacă poate înlocui instrumentele găzduite de avatare vorbitoare, ghidul acesta acoperă tot. Proiect sursă: github.com/KwaiVGI/LivePortrait.
Ce este LivePortrait?
LivePortrait este un cadru eficient de animare a portretelor. Dată fiind o imagine sursă cu o față și un semnal de ghidare — de obicei un videoclip scurt cu cineva care se mișcă și vorbește — produce un videoclip nou în care portretul sursă oglindește acea mișcare, inclusiv expresii subtile și mișcarea ochilor și a buzelor. Este cunoscut pentru viteza și controlabilitatea sa, comparativ cu abordările mai grele bazate pe difuzie.
Lucrul esențial de înțeles: LivePortrait este un instrument pentru dezvoltatori, nu un site găzduit. Nu există pagină de înregistrare și nici aplicație în browser. Îl instalezi local cu Python și îl rulezi din linia de comandă sau printr-o interfață demo. Asta îl face flexibil și gratuit de rulat, dar înseamnă și că ai nevoie de o configurare reală și de un GPU suficient de puternic.
Cum rulezi LivePortrait
LivePortrait se rulează local, așa că ai nevoie de câteva cerințe înainte de prima ta animație.
Cerințe
- Un computer cu un GPU NVIDIA (doar pe CPU este posibil, dar lent).
- Python și un manager de pachete precum conda.
- Git, pentru a clona depozitul și a descărca greutățile modelului.
Configurare
- Clonează depozitul din proiectul oficial GitHub și instalează dependențele Python.
- Descarcă greutățile preantrenate așa cum sunt descrise în README-ul proiectului.
- Rulează inferența cu portretul tău sursă și un videoclip de ghidare pentru a genera rezultatul animat sau pornește interfața demo inclusă.
Fiind un proiect de cercetare, așteaptă-te să citești README-ul și secțiunea de issues la prima utilizare și să îți gestionezi singur mediul și actualizările.
LivePortrait vs un instrument găzduit de avatare vorbitoare
LivePortrait și instrumentele de avatare găzduite rezolvă probleme diferite.
- Alege LivePortrait dacă ești confortabil cu Python și GPU-uri, vrei control la nivel de cercetare asupra animației și preferi o opțiune gratuită, self-hosted, în locul vitezei.
- Alege un instrument găzduit dacă vrei rapid un videoclip vorbit finalizat, fără configurare. VisionStory transformă o singură fotografie plus un scenariu într-un videoclip cu avatar vorbitor sincronizat pe buze direct în browser, în câteva minute — fără Python, fără GPU, fără să înregistrezi un videoclip de ghidare.
Dacă obiectivul tău este un prezentator vorbitor dintr-o fotografie și un scenariu, un instrument de avatar găzduit este de obicei varianta mai rapidă. Vezi cum funcționează în crearea de video AI sau fă rapid o fotografie vorbitoare ca să compari.
Vrei un videoclip vorbitor fără să instalezi nimic? Încearcă VisionStory gratuit — încarcă o fotografie, scrie un scenariu și obține în câteva minute un videoclip cu avatar vorbitor, ușor de distribuit.