LivePortraitは、最も広く使われているオープンソースのポートレートアニメーションプロジェクトの1つです。1枚の静止ポートレートを“生きているように”動かし、ドライビング動画の表情や頭部の動きを顔に転写する研究モデルとして知られています。あちこちで名前を見かけていて、LivePortraitとは何か、どう動かすのか、そしてホスト型のトーキングアバターツールを置き換えられるのかを分かりやすく知りたい方は、このガイドで解決できます。元プロジェクト:github.com/KwaiVGI/LivePortrait。
LivePortraitとは?
LivePortraitは効率的なポートレートアニメーションのフレームワークです。顔の元画像1枚とドライビング信号(多くの場合、話しながら動く人物の短い動画)を与えると、元のポートレートがその動きをなぞる新しい動画を生成します。微細な表情、目の動き、唇の動きまで再現でき、より重い拡散ベースの手法に比べて高速で制御しやすい点が特徴です。
ここが重要です:LivePortraitはホスト型のWebサービスではなく、開発者向けツールです。サインアップページもブラウザアプリもありません。Pythonでローカルにインストールし、コマンドラインまたはデモ用インターフェースから実行します。柔軟で無料で動かせる一方、実際のセットアップ作業と、性能のあるGPUが必要になります。
LivePortraitの動かし方
LivePortraitはローカルで実行するため、初めてアニメーションを作る前にいくつかの前提条件が必要です。
前提条件
- NVIDIA GPUを搭載したマシン(CPUのみでも可能ですが遅いです)。
- Pythonと、condaなどのパッケージマネージャー。
- リポジトリをクローンしてモデル重みをダウンロードするためのGit。
セットアップ
- 公式GitHubプロジェクトからリポジトリをクローンし、Pythonの依存関係をインストールします。
- プロジェクトのREADMEに従って事前学習済みの重みをダウンロードします。
- 元のポートレートとドライビング動画で推論を実行してアニメーション結果を生成するか、同梱のデモ用インターフェースを起動します。
研究プロジェクトのため、初回はREADMEやIssuesを読みながら進め、環境やアップデートも自分で管理する前提になります。
LivePortraitとホスト型トーキングアバターツールの違い
LivePortraitとホスト型アバターツールは、解決する課題が異なります。
- LivePortraitがおすすめなのはPythonやGPUに慣れていて、研究レベルの細かな制御を求め、速度よりも無料でセルフホストできる道を重視する場合です。
- ホスト型ツールがおすすめなのはセットアップなしで、完成したトーキング動画をとにかく早く作りたい場合です。VisionStoryなら、写真1枚+台本だけで、ブラウザ上で数分でリップシンク済みのトーキングアバター動画に変換できます。PythonもGPUも不要で、ドライビング動画を撮影する必要もありません。
写真1枚と台本で“話すプレゼンター”を作るのが目的なら、通常はホスト型アバターツールのほうが近道です。AI動画作成で仕組みを確認するか、トーキングフォトを手早く作って比べてみてください。
何もインストールせずにトーキング動画を作りたいですか? VisionStoryを無料で試す — 写真をアップロードして台本を入力するだけで、共有できるトーキングアバター動画が数分で完成します。
