#165
summarized by : Soma Nonaka
Robust Consistent Video Depth Estimation

どんな論文か?

単眼ビデオからの深度とカメラ姿勢の同時推定を行う手法を提案する.SfMなどの古典的な手法はノイズやオクルージョンに頑健ではなく,また,最近のCNNベースの深度推定手法は深度の相対的なスケールしか推定できないために,幾何的に正確な推定ができないという問題がある.本手法は頑健な予測が可能であり,さらに幾何的に正確な深度を推定する.
placeholder

新規性

深度推定を行うCNNとカメラ姿勢を交互に最適化することで,SfMなどの従来手法によらずに深度・カメラ姿勢推定を実現した.各フレームの深度マップをスプライン関数によって滑らかに変形させることで,フレーム間での深度のブレを抑える方法を提案した.さらに,オプティカルフローに沿った時空間的なフィルタリングによって,高周波成分を保持した深度マップを生成する手法を提案した.

結果

MPI Sintelデータセット(ゲーミングエンジンで作成したシーンからなるデータセット.真の深度とカメラ姿勢を含む)で既存のSfM,深度推定CNNと比較した.深度推定とカメラ姿勢推定の両方で提案手法が最も良い成績を示した.特に,従来手法ではカメラ姿勢が推定できないような状況下でも,提案手法は頑健な予測ができることを示した.

その他(なぜ通ったか?等)

project pageへのリンク:https://robust-cvd.github.io/