#407
summarized by : Masanori YANO
Mirror3D: Depth Refinement for Mirror Surfaces

どんな論文か?

深度センシングで、鏡の表面は真値を返さないため3次元復元に支障を来す。この問題に対し、鏡の深度を補正するためのデータセット及びネットワーク構造を提案した論文。
placeholder

新規性

既存のRGB-Dデータセットから鏡が映った7,011枚のMirror3Dデータセットを構築し、Mask R-CNNのネットワーク構造をベースとして鏡の深度の補正を行うMirror3DNetを提案した。

結果

Mirror3Dデータセットを使用してMirror3DNetの学習を行い、従来手法との定性的な比較を実施。Mirror3DNetのネットワーク構造に関しては、CVPR 2019採択のPlaneRCNNをベースラインとしてセグメンテーション精度の比較を行い上回る結果。なお、NYUv2などの既存データセットは鏡の深度が不正確なため、定量的な評価に苦心した様子がうかがえる。

その他(なぜ通ったか?等)

必要となるデータセットから構築し、鏡の補正の効果を示したことで通ったと考えられる。同じくCVPR 2021採択の「Depth-Aware Mirror Segmentation」と似た着眼点であるが、本論文はプロジェクトページ( https://3dlg-hcvc.github.io/mirror3d/ )でデータセットやPyTorch実装が公開されている。