#630
summarized by : Naoya Chiba
D2IM-Net: Learning Detail Disentangled Implicit Fields From Single Images

どんな論文か?

単眼画像から三次元形状をNeural Implicit Representationと正面・背面における変位マップによって記述する手法の提案.おおまかな形状はSDFで記述し,詳細な形状は入力された画像側(正面)と隠れる背後側についての2Dの変位マップとして出力する.詳細な形状をとらえるため,SDFのロスだけではなくラプラシアンを比較しロスを加えて学習する.
placeholder

新規性

単眼三次元再構成を大まかな形状を示すSDFと表面の微細な形状に分けて学習するというアプローチが新規.入力が単眼画像であることを利用すると正面・背面が定まるので変位マップを記述でき,さらに三次元形状の法線を2Dに投影してラプラシアンを計算することで2D画像からラプラシアンを推定するタスクとして解けるような構成になっている.

結果

ShapeNetデータで学習・評価.細部の再現度を適切に評価するためECDで比較.ベースライン手法と比較してサンプリングの工夫と両面の変位マップ,ラプラシアンによる損失をすべて適用することで良好な再構成結果を得られていることを確認した.

その他(なぜ通ったか?等)