「3D人間の頭部の合成と再構築は、最近、コンピュータビジョンとコンピュータグラフィックスでますます関心が高まっています。既存の最先端の3D人間の頭部合成用の3D生成敵対的ネットワーク（GAN）は、ほぼ正面のビューに限定されているか、大きなビュー角度で3D一貫性を維持することが困難です。我々はPanoHeadを提案します。これは、トレーニングに野生の非構造化画像のみを使用して、多様な外観と詳細なジオメトリを持つ360°のフルヘッドの高品質なビュー一貫性画像合成を可能にする初めての3D認識生成モデルです。その中心には、最近の3D GANの表現力を引き上げ、広く分布したビューで野生画像からトレーニングする際のデータ整列ギャップを埋めることができます。具体的には、堅牢な3D GANトレーニングのための新しい2段階自己適応画像整列を提案します。さらに、広く採用されている三面図式に根ざした前面と後頭部特徴の絡み合いを効果的に解決する三格子ニューラルボリューム表現を導入します。私たちの方法は、2D画像セグメンテーションの事前知識を3Dニューラルシーン構造の敵対的学習に取り入れ、多様な背景で合成可能な頭部合成を可能にします。これらの設計により、私たちの方法は以前の3D GANを大幅に上回り、正確なジオメトリと多様な外観を持つ高品質な3D頭部を生成し、長いウェーブやアフロヘアスタイルでも任意のポーズからレンダリングできます。さらに、私たちのシステムは、個人化されたリアルな3Dアバター用に単一入力画像からフル3D頭部を再構築することができることを示します。」
解説動画
たった一枚の画像から360°の画像が生成されるなんて、凄いです。
下のドゥエイン・ジョンソンの写真の例だと横顔に若干違和感を感じますが、それもすぐ解消されるんでしょうね！
コメント