#427
summarized by : Takuma Yagi
DeepVoxels: Learning Persistent 3D Feature Embeddings

どんな論文か?

物体の多視点画像が与えられたときに当該物体について未知の視点から見た場合の画像を生成する自由視点画像生成問題に取り組む。3次元形状を使わずに3次元空間構造を保持する潜在表現の提案。
placeholder

新規性

LSM [Kar+, NIPS'17] と類似の3次元潜在ボクセルを自由視点画像生成に用いたこと。ボクセル上でのオクルージョン推論。

結果

Pix2Pixなどの3次元構造を考慮しない手法と比べテクスチャの自然度および定量評価の双方で大幅改善。1024ピクセル四方の精細なレンダリングも可能。

その他(なぜ通ったか?等)

読みやすく手法も結果もはっきりしており質が高い。メモリ効率が低いことと、カメラ幾何が既知なこと、学習時に既に多視点(479視点)の画像が与えられているため単一または少数視点からの復元とは問題設定が大きくなることに注意。