#108
summarized by : Teppei Kurita
Through the Looking Glass: Neural 3D Reconstruction of Transparent Shapes

どんな論文か?

透明物体の3D形状を、スマホカメラ数枚から復元する。光源マップは既知前提。学習データ構築はCG(実写だと真値を生成するのが極端に難しいため)。
placeholder

新規性

物体の前後の法線マップ画像2つを推定するCNNアーキテクチャにし、初期値のVisual Hullラフ法線を入力としたフレネル式での画像再構成誤差を制約項としているところが新規性。物理的な制約項を入れているといっても、誤差はロスとしてではなく、ネットワークの入力として連結する。表面法線から3次元点群再構成はPointNet++。基本的に2回バウンス(1回の直接反射、2回の屈折)を前提している。

結果

CGと実写データ共に法線の中央値と平均角度およびレンダリング誤差で評価。Visual Hullと比較して定量的な優位性を確認。5~12枚の画像で高品質の3D再構成を実現できることを示している。

その他(なぜ通ったか?等)

問題設定がわかりやすく、結果も見栄えが良い。ネットワークだけでも物理的な縛りを入れていて新規性がある。また、3D再構成で最近成果の著しいコストボリュームを使っていて、かつメモリ消費がバカ高くならないように、コスト対効果の高いサンプリングを採用しているのも実用性がある。