LivePortrait הוא אחד מפרויקטי האנימציה לפורטרטים בקוד פתוח הנפוצים ביותר — מודל מחקר שלוקח פורטרט סטטי יחיד ומפיח בו חיים, ומעביר הבעות ותנועת ראש מסרטון מניע אל הפנים. אם אתם ממשיכים להיתקל בו כמקור ורוצים תשובה בשפה פשוטה לגבי מה זה LivePortrait, איך מריצים אותו, והאם הוא יכול להחליף כלים מתארחים ליצירת אווטאר מדבר, המדריך הזה מכסה את הכול. פרויקט המקור: github.com/KwaiVGI/LivePortrait.
מה זה LivePortrait?
LivePortrait הוא פריימוורק יעיל לאנימציית פורטרטים. בהינתן תמונת מקור אחת של פנים ואות הנעה — בדרך כלל סרטון קצר של מישהו זז ומדבר — הוא מייצר סרטון חדש שבו הפורטרט המקורי משקף את התנועה הזו, כולל הבעות עדינות ותנועת עיניים ושפתיים. הוא מוכר כמהיר וניתן לשליטה בהשוואה לגישות כבדות יותר המבוססות על דיפיוז'ן.
הדבר המרכזי שחשוב להבין: LivePortrait הוא כלי למפתחים, לא אתר מתארח. אין דף הרשמה ואין אפליקציה בדפדפן. מתקינים אותו מקומית עם Python ומריצים משורת הפקודה או דרך ממשק הדגמה. זה הופך אותו לגמיש ולחינמי להפעלה, אבל זה גם אומר שנדרשים סט-אפ אמיתי ו-GPU חזק.
איך להריץ את LivePortrait
את LivePortrait מריצים מקומית, לכן צריך כמה דרישות מקדימות לפני האנימציה הראשונה.
דרישות מקדימות
- מחשב עם NVIDIA GPU (אפשר גם רק עם CPU, אבל זה איטי).
- Python ומנהל חבילות כגון conda.
- Git, כדי לשכפל את המאגר ולהוריד את משקלי המודל.
הגדרה
- שכפלו את המאגר מפרויקט ה-GitHub הרשמי והתקינו את התלויות של Python.
- הורידו את המשקלים שאומנו מראש כפי שמתואר ב-README של הפרויקט.
- הריצו אינפרנס עם פורטרט המקור שלכם וסרטון מניע כדי להפיק את התוצאה המונפשת, או הפעילו את ממשק ההדגמה הכלול.
מכיוון שמדובר בפרויקט מחקר, צפו לקרוא את ה-README ואת ה-Issues בפעם הראשונה, ולנהל בעצמכם את הסביבה והעדכונים.
LivePortrait לעומת כלי מתארח לאווטאר מדבר
LivePortrait וכלי אווטאר מתארחים פותרים בעיות שונות.
- בחרו ב-LivePortrait אם אתם מרגישים בנוח עם Python ו-GPU, אתם רוצים שליטה ברמת מחקר על האנימציה, ואתם מעדיפים מסלול חינמי שמתארח עצמאית על פני מהירות.
- בחרו בכלי מתארח אם אתם פשוט רוצים סרטון דיבור מוגמר במהירות, בלי סט-אפ. VisionStory הופך תמונה אחת יחד עם תסריט לסרטון אווטאר מדבר עם סנכרון שפתיים — ישירות בדפדפן ובתוך דקות — בלי Python, בלי GPU, ובלי להקליט סרטון מניע.
אם המטרה שלכם היא מגיש מדבר מתמונה אחת ותסריט, כלי אווטאר מתארח הוא בדרך כלל המסלול המהיר יותר. ראו איך זה עובד ב-יצירת וידאו בינה מלאכותית, או צרו תמונה מדברת מהירה כדי להשוות.
רוצים סרטון דיבור בלי להתקין כלום? נסו את VisionStory בחינם — העלו תמונה, הקלידו תסריט, וקבלו סרטון אווטאר מדבר שניתן לשיתוף בתוך דקות.