#319
summarized by : Haruhi Shida
Monocular 3D Object Reconstruction with GAN Inversion

どんな論文か?

単眼画像からテクスチャ付き3Dメッシュを復元することは,特に3Dグランドトゥルースを持たない野生の物体に対して非常に困難であることが知られている.本論文では,3Dテクスチャメッシュ合成のために事前に学習した3D GANの生成的事前分布を利用し,再構成を改善する新しいフレームワークであるMeshInversionを提案する.
placeholder

新規性

単眼で観察された物体から3次元形状や質感を復元する際に問題となるのは,野生のオブジェクトインスタンスに対するデータ収集とアノテーションの膨大なコストのために、3Dまたはマルチビューの監視が欠如していることである.既存手法の多くも,様々な形式の事前情報を利用することによって補強を試みているがこの課題は依然として困難だった.本手法は初めてGANsが持つ生成的事前情報を活用し,驚異的な性能を示した.

結果

本手法は実世界の単眼画像からの3D再構成において、説得力のある性能を発揮する.裏側のテクスチャをリアルに再現するだけでなく,オクルージョンがある場合(添付画像b)でも一般化する.また翼が開いた鳥や長い尾を持つ鳥など,あまり一般的に見られない3次元形状に対しても,著しく優れた汎化能力を発揮することが分かっている.(添付画像)

その他(なぜ通ったか?等)

事前にGANsが持つ生成的事前情報を導入することで,単眼では観測できない部分の復元精度を高めている点が興味深かった.