5 野に咲く名無し@転載禁止 (主) 2023/12/05 (火) 11:56:36.147 ID:HsDgHWYn
概要
キャラクタアニメーションは、静止画像から駆動信号によってキャラクタ動画を生成することを目的としている。現在、映像生成の研究においては、そのロバストな生成能力から拡散モデルが主流となっている。しかし、画像から動画への変換、特にキャラクタアニメーションにおいては、キャラクタの詳細な情報との時間的な整合性を保つことが困難であるという課題が残されている。本論文では、拡散モデルの力を活用し、キャラクターアニメーションに合わせた新しいフレームワークを提案する。参照画像からの複雑な外観特徴の一貫性を維持するために、空間的な注意を介して詳細な特徴を統合するReferenceNetを設計する。制御性と連続性を確保するために、キャラクタの動きを指示する効率的なポーズガイダーを導入し、ビデオフレーム間のスムーズなフレーム間遷移を確保するための効果的な時間モデリングアプローチを採用する。学習データを拡張することで、本手法は任意のキャラクタをアニメーションさせることができ、他の画像からビデオへの手法と比較して、キャラクタアニメーションにおいて優れた結果をもたらす。さらに、ファッションビデオと人間のダンス合成のベンチマークで本手法を評価し、最先端の結果を得た。
🤔