#438
summarized by : Takuma Yagi
Extreme Relative Pose Estimation for RGB-D Scans via Scene Completion
Zhenpei Yang, Jeffrey Z. Pan, Linjie Luo, Xiaowei Zhou, Kristen Grauman, Qixing Huang

どんな論文か？

同一シーンの屋内RGB-Dスキャンが2つ与えられたとき、その重複が非常に少ないまたは存在しない（！）場合における相対姿勢推定タスクを解く。カラー、法線、深度を入力としてその360度シーンをCNNで復元したのち、シーン間のSIFTキーポイントのマッチング問題を解くことでシーン間の相対姿勢R, tを推定する。
placeholder

新規性

幾何的および意味的制約を考慮したシーン補完を相対姿勢推定に持ち込んだこと。Spectral matching [Leordeanu & Efros, ICCV'05]とSparse ICPを利用した外れ値と幾何的制約を考慮したマッチング手法の提案。

結果

SUNCG, Matterport, ScanNetの3つのベンチマークにおいて既存手法より高性能、深層学習ベースでは初めて先行手法の性能を上回った。シーン間の重複がない場合でもランダム推定に比べ明らかに良い推定を実現。

その他（なぜ通ったか？等）

シーン全体の補完 [Song+, CVPR'18] を相対姿勢推定に使用したのが斬新。深層学習の得意な点（意味的・幾何的情報の両立）と伝統的手法（頑健なマッチング）とを上手く結びつけた好例。一方精度自体は実用には程遠く現状使いどころがない。

このページで利用されている画像は論文から引用しています．