LivePortrait е един от най-широко използваните open-source проекти за анимация на портрети — изследователски модел, който взема един статичен портрет и го „оживява“, като прехвърля изражения и движения на главата от управляващо (driving) видео върху лицето. Ако постоянно го виждате споменат и искате отговор на разбираем език на какво е LivePortrait, как се стартира и дали може да замени хостваните инструменти за говорещи аватари, това ръководство е за вас. Изходен проект: github.com/KwaiVGI/LivePortrait.
Какво е LivePortrait?
LivePortrait е ефективна рамка за анимация на портрети. При подадено едно изходно изображение на лице и управляващ сигнал — обикновено кратко видео на човек, който се движи и говори — тя създава ново видео, в което изходният портрет имитира това движение, включително фини изражения и движение на очите и устните. Известна е с това, че е бърза и контролируема в сравнение с по-тежките diffusion-базирани подходи.
Ключовото, което трябва да знаете: LivePortrait е инструмент за разработчици, не хостван уебсайт. Няма страница за регистрация и няма браузърно приложение. Инсталирате го локално с Python и го стартирате от командния ред или чрез демо интерфейс. Това го прави гъвкаво и безплатно за изпълнение, но означава и реална настройка плюс нужда от мощен GPU.
Как да стартирате LivePortrait
LivePortrait се стартира локално, така че преди първата ви анимация са нужни няколко предварителни условия.
Предварителни условия
- Машина с NVIDIA GPU (възможно е и само с CPU, но е бавно).
- Python и мениджър на пакети като conda.
- Git, за да клонирате хранилището и да изтеглите теглата на модела.
Настройка
- Клонирайте хранилището от официалния GitHub проект и инсталирайте Python зависимостите.
- Изтеглете предварително обучените тегла според описанието в README на проекта.
- Пуснете inference с вашия изходен портрет и управляващо видео, за да генерирате анимирания резултат, или стартирайте включения демо интерфейс.
Тъй като това е изследователски проект, очаквайте първия път да прегледате README и секцията с issues, както и сами да управлявате средата и обновленията.
LivePortrait срещу хостван инструмент за говорещ аватар
LivePortrait и хостваните инструменти за аватари решават различни задачи.
- Изберете LivePortrait, ако се чувствате уверени с Python и GPU, искате контрол на ниво изследователски модел върху анимацията и предпочитате безплатен, self-hosted вариант пред скоростта.
- Изберете хостван инструмент, ако просто искате готово говорещо видео бързо, без настройка. VisionStory превръща една снимка плюс сценарий във видео с говорещ аватар със синхронизирани устни директно в браузъра ви за минути — без Python, без GPU, без да записвате управляващо видео.
Ако целта ви е говорещ презентатор от една снимка и сценарий, хостван инструмент за аватари обикновено е по-бързият път. Вижте как работи в създаване на AI видео или направете бърза говореща снимка, за да сравните.
Искате говорещо видео без да инсталирате нищо? Опитайте VisionStory безплатно — качете снимка, напишете сценарий и получете споделяемо видео с говорещ аватар за минути.