- …
- …
#194
summarized by : Naoya Chiba
どんな論文か？
教師なしでの深度推定手法の提案．画像間でのカメラの相対姿勢を推定するPoseCNNとターゲット画像からDepthCNNにより深度を推定するDepthCNNを学習する．キーポイント同士が推定した相対姿勢・深度によって位置合わせをしたときに視覚的に一致するようなロスと，推定した深度の各部が局所的に平面となるロスを用いる．
新規性
カメラの相対姿勢のみでは学習に失敗することを指摘し，キーポイントを用いたパッチベースのロスと局所平面によるロスを導入した．パッチベースの一貫性ロスは輝度勾配を利用してDSOの手法でキーポイントを選択し，パッチベースでワープを計算してSSIMとL1によって計算する．局所平面によるロスではスーパーピクセルを検出し平面フィッティングし，推定した深度が局所的に平面になるように学習する．
結果
評価のためGround Truthの震度情報があるNYU Depth V2とScanNetで学習・評価した．特にテクスチャのない領域でもうまく深度が推定できており，法線を計算してもうまく推定できた．教師なしではSoTA，教師ありの手法にも匹敵する性能を達成した．
その他（なぜ通ったか？等）
https://github.com/svip-lab/Indoor-SfMLearner
- …
- …