- …
- …
#375
summarized by : yusuke saito
どんな論文か？
動的な人物3Dモデルの再構成において、既存の手法では，高密度にサンプリングされた入力ビューが必要であり、またオクルージョンによる穴のような深刻な欠陥を扱うことはできなかった。そこで本研究では、マルチビュー環境下でのEnd-to-Endなニューラルヒューマンレンダラ（NHR）を提案する。
新規性
- 時空間点群の特徴を捉えるようにPointNet++を拡張した特徴抽出手法を提案し、大量の入力ニューからのサンプルを軽減させることが可能
- 投影・ラスタライズにおいて、3D特徴を2D特徴マップとしてターゲットカメラにマッピング。2Dマップ上の勾配の誤差逆伝播を3D点群上で直接行うように
- 特徴マップからの最終画像を新しい視点でレンダリングし直し、不完全でノイズの多い形状を扱うことが可能
結果
- マルチカメラドームシステム（円柱上に最大80台のカメラを配置）して、人物の５つのスポーツ動作を収集
- PSNR/SSIM/MSEをGT(キャプチャ画像を点群投影画像と同じサイズへリサイズ)と比較し、既存手法よりもよい結果を示した
- 弱点としては、カメラを障害物に近づけると、投影される点はかなり疎になり、点間のギャップが大きくなり失敗する可能性がある
その他（なぜ通ったか？等）
- 時空間を考慮することで、動作中の人物の点群でノイズとなる部分を補正することを実証
- さらに、直接にはSfSの結果を使わないような、統計的な穴埋め手法を提案。結果から効果的であることを実証している点。
- …
- …