LivePortrait คือหนึ่งในโปรเจกต์แอนิเมชันภาพพอร์ตเทรตแบบโอเพนซอร์สที่ถูกใช้อย่างแพร่หลายที่สุด — โมเดลสายวิจัยที่นำภาพพอร์ตเทรตนิ่งเพียงภาพเดียวมาทำให้มีชีวิต โดยถ่ายโอนสีหน้าและการเคลื่อนไหวศีรษะจากวิดีโอขับเคลื่อน (driving video) ไปยังใบหน้า หากคุณเห็นชื่อมันถูกอ้างอิงบ่อยๆ และอยากได้คำตอบแบบเข้าใจง่ายว่า LivePortrait คืออะไร รันอย่างไร และแทนเครื่องมืออวาตาร์พูดแบบโฮสต์ได้ไหม คู่มือนี้มีครบ โปรเจกต์ต้นทาง: github.com/KwaiVGI/LivePortrait.
LivePortrait คืออะไร?
LivePortrait คือเฟรมเวิร์กสำหรับทำแอนิเมชันพอร์ตเทรตที่มีประสิทธิภาพ เมื่อให้ภาพต้นฉบับเป็นใบหน้า 1 ภาพและสัญญาณขับเคลื่อน — โดยทั่วไปคือวิดีโอสั้นๆ ของคนที่ขยับและพูด — ระบบจะสร้างวิดีโอใหม่ที่ภาพพอร์ตเทรตต้นฉบับเคลื่อนไหวตาม รวมถึงรายละเอียดเล็กๆ ของสีหน้า การเคลื่อนไหวของตา และริมฝีปาก มันขึ้นชื่อว่าเร็วและควบคุมได้มากกว่าแนวทางที่หนักกว่าซึ่งอิง diffusion
ประเด็นสำคัญที่ต้องเข้าใจ: LivePortrait เป็นเครื่องมือสำหรับนักพัฒนา ไม่ใช่เว็บไซต์แบบโฮสต์ ไม่มีหน้าสมัครใช้งาน และไม่มีแอปบนเบราว์เซอร์ คุณต้องติดตั้งบนเครื่องด้วย Python แล้วรันผ่านคอมมานด์ไลน์หรือหน้าเดโม นั่นทำให้มันยืดหยุ่นและใช้งานได้ฟรี แต่ก็หมายความว่าต้องมีขั้นตอนตั้งค่าจริงจังและต้องมี GPU ที่แรงพอ
วิธีรัน LivePortrait
LivePortrait รันบนเครื่องของคุณเอง ดังนั้นก่อนทำแอนิเมชันครั้งแรก คุณต้องมีสิ่งที่จำเป็นบางอย่าง
สิ่งที่ต้องมี
- คอมพิวเตอร์ที่มี NVIDIA GPU (ใช้ CPU ล้วนได้แต่จะช้า)
- Python และตัวจัดการแพ็กเกจอย่าง conda
- Git เพื่อโคลนรีโพซิทอรีและดาวน์โหลดน้ำหนักโมเดล (model weights)
การตั้งค่า
- โคลนรีโพซิทอรี จากโปรเจกต์ GitHub อย่างเป็นทางการ และติดตั้ง dependencies ของ Python
- ดาวน์โหลด pretrained weights ตามที่อธิบายใน README ของโปรเจกต์
- รัน inference ด้วยภาพพอร์ตเทรตต้นฉบับและ driving video เพื่อสร้างผลลัพธ์แบบแอนิเมชัน หรือเปิดใช้งานเดโมอินเทอร์เฟซที่มีให้
เพราะเป็นโปรเจกต์สายวิจัย คาดว่าจะต้องอ่าน README และ issues ในรอบแรก และต้องจัดการสภาพแวดล้อม (environment) รวมถึงการอัปเดตด้วยตัวเอง
LivePortrait vs เครื่องมืออวาตาร์พูดแบบโฮสต์
LivePortrait และเครื่องมืออวาตาร์แบบโฮสต์ช่วยแก้ปัญหาคนละแบบ
- เลือก LivePortrait หาก คุณคุ้นเคยกับ Python และ GPU อยากได้การควบคุมระดับงานวิจัยเหนือแอนิเมชัน และให้ความสำคัญกับเส้นทางแบบฟรีและโฮสต์เองมากกว่าความเร็ว
- เลือกเครื่องมือแบบโฮสต์ หาก คุณอยากได้วิดีโอพูดที่เสร็จพร้อมใช้แบบเร็วๆ โดยไม่ต้องตั้งค่า VisionStory เปลี่ยนรูปถ่าย 1 รูปพร้อมสคริปต์ให้เป็นวิดีโออวาตาร์พูดแบบลิปซิงก์ได้ในเบราว์เซอร์ภายในไม่กี่นาที — ไม่ต้องใช้ Python ไม่ต้องมี GPU และไม่ต้องอัด driving video
ถ้าเป้าหมายของคุณคือพิธีกรพูดจากรูปถ่าย 1 รูปและสคริปต์ เครื่องมืออวาตาร์แบบโฮสต์มักเป็นทางที่เร็วกว่า ดูการทำงานได้ใน การสร้างวิดีโอ AI หรือทำ ภาพพูดได้ แบบเร็วๆ เพื่อเทียบกัน
อยากได้วิดีโอพูดโดยไม่ต้องติดตั้งอะไรเลย? ลอง VisionStory ฟรี — อัปโหลดรูป พิมพ์สคริปต์ แล้วรับวิดีโออวาตาร์พูดที่แชร์ได้ภายในไม่กี่นาที