Το LivePortrait είναι ένα από τα πιο ευρέως χρησιμοποιούμενα open-source projects για animation πορτρέτων — ένα ερευνητικό μοντέλο που παίρνει ένα μόνο στατικό πορτρέτο και το «ζωντανεύει», μεταφέροντας εκφράσεις και κίνηση κεφαλιού από ένα driving video στο πρόσωπο. Αν το βλέπετε να αναφέρεται συνέχεια και θέλετε μια απλή, κατανοητή απάντηση για το τι είναι το LivePortrait, πώς να το τρέξετε και αν μπορεί να αντικαταστήσει τα hosted εργαλεία talking-avatar, αυτός ο οδηγός τα καλύπτει. Πηγαίο project: github.com/KwaiVGI/LivePortrait.
Τι είναι το LivePortrait;
Το LivePortrait είναι ένα αποδοτικό πλαίσιο για animation πορτρέτων. Με μία εικόνα-πηγή ενός προσώπου και ένα driving signal — συνήθως ένα σύντομο βίντεο κάποιου που κινείται και μιλά — παράγει ένα νέο βίντεο όπου το πορτρέτο-πηγή μιμείται αυτή την κίνηση, συμπεριλαμβανομένων λεπτών εκφράσεων, κίνησης ματιών και χειλιών. Είναι γνωστό για την ταχύτητα και την υψηλή δυνατότητα ελέγχου του σε σύγκριση με βαρύτερες προσεγγίσεις που βασίζονται σε diffusion.
Το βασικό που πρέπει να καταλάβετε: το LivePortrait είναι εργαλείο για developers, όχι hosted website. Δεν υπάρχει σελίδα εγγραφής ούτε εφαρμογή στον browser. Το εγκαθιστάτε τοπικά με Python και το τρέχετε από τη γραμμή εντολών ή από ένα demo interface. Αυτό το κάνει ευέλικτο και δωρεάν στη χρήση, αλλά σημαίνει επίσης ότι απαιτείται κανονικό setup και μια ικανή GPU.
Πώς να τρέξετε το LivePortrait
Το LivePortrait εκτελείται τοπικά, οπότε χρειάζεστε ορισμένες προϋποθέσεις πριν από το πρώτο σας animation.
Προαπαιτούμενα
- Έναν υπολογιστή με NVIDIA GPU (μόνο CPU γίνεται, αλλά είναι αργό).
- Python και έναν package manager όπως το conda.
- Git, για να κάνετε clone το repository και να κατεβάσετε τα model weights.
Ρύθμιση
- Κάντε clone το repository από το επίσημο project στο GitHub και εγκαταστήστε τις εξαρτήσεις της Python.
- Κατεβάστε τα pretrained weights όπως περιγράφεται στο README του project.
- Τρέξτε inference με το πορτρέτο-πηγή και ένα driving video για να δημιουργήσετε το animated αποτέλεσμα, ή εκκινήστε το demo interface που περιλαμβάνεται.
Επειδή πρόκειται για ερευνητικό project, υπολογίστε ότι την πρώτη φορά θα χρειαστεί να διαβάσετε το README και τα issues, και να διαχειριστείτε μόνοι σας το περιβάλλον και τις ενημερώσεις.
LivePortrait vs ένα hosted εργαλείο talking-avatar
Το LivePortrait και τα hosted εργαλεία avatar λύνουν διαφορετικά προβλήματα.
- Επιλέξτε LivePortrait αν αισθάνεστε άνετα με Python και GPUs, θέλετε έλεγχο επιπέδου έρευνας πάνω στο animation και προτιμάτε μια δωρεάν, self-hosted επιλογή αντί για ταχύτητα.
- Επιλέξτε ένα hosted εργαλείο αν θέλετε απλώς ένα ολοκληρωμένο talking video γρήγορα, χωρίς setup. Το VisionStory μετατρέπει μία φωτογραφία και ένα σενάριο σε ένα lip-synced talking avatar βίντεο απευθείας στον browser σας μέσα σε λίγα λεπτά — χωρίς Python, χωρίς GPU, χωρίς driving video για εγγραφή.
Αν ο στόχος σας είναι ένας παρουσιαστής που μιλά από μία φωτογραφία και ένα σενάριο, ένα hosted avatar εργαλείο είναι συνήθως η πιο γρήγορη λύση. Δείτε πώς λειτουργεί στο δημιουργία AI βίντεο ή φτιάξτε ένα γρήγορο φωτογραφία που μιλάει για σύγκριση.
Θέλετε ένα talking video χωρίς να εγκαταστήσετε τίποτα; Δοκιμάστε το VisionStory δωρεάν — ανεβάστε μια φωτογραφία, γράψτε ένα σενάριο και αποκτήστε ένα κοινοποιήσιμο talking avatar βίντεο σε λίγα λεπτά.