- …
- …
#106
summarized by : Shoji Sonoyama
どんな論文か？
単眼RGBカメラ画像を入力とし、移動可能な場所のセグメンテーション画像を出力する問題設定。
ARのキャラクターが物体の影に隠れることができ、違和感なく移動できるような平面を推定することをゴールとしている。
通常の自動運転の問題とは異なり、カメラの運動には期待できないためという制約が付く。
新規性
移動可能領域のセグメンテーションを可能にするために下記の4つ情報表現を提案し、これらを推定するための単一のネットワークを提案した。
・画像からわかる移動可能領域のセグメンテーションマスク
・Depth画像
・隠れた平面を考慮した移動可能領域のセグメンテーションマスク
・隠れた平面を考慮した移動可能領域のDepth画像
またこれらを学習するためのデータセットを作るためのパイプラインを提案している。
結果
KITTIとMatterportを用いた評価にて類似手法よりも高い精度が得られている。また、単一のネットワークで推論を行うため、高速に動作する。実装が公開されている。githubの結果が分かりやすい。https://github.com/nianticlabs/footprints
その他（なぜ通ったか？等）
非常に挑戦的な問題設定で性能を出しているだけでなく、実応用に向けた次の問題設定(path planing)に有効であることも示している。
KITTIデータセットの画像にhidden surfaceというラベルを追加し公開した。
論文中でsupplementary参照と出てくるが見つからない…。どこ…？
- …
- …