#759
summarized by : shirouchi satoshi
UnOS: Unified Unsupervised Optical-Flow and Stereo-Depth Estimation by Watching Videos

どんな論文か?

ビデオのオプティカルフローとステレオ深度の推定が目的。二つのタスクは両方考慮する方がよいとされていたが、既存のものは別々に学習していた。本研究は二つのタスクを教師なしでjoint learningする手法を提案。
placeholder

新規性

それぞれのタスクで見つけたピクセルを使うことでjoint learningを行いたいが、深度推定によって見つけたピクセルとオプティカルフローによって見つけたピクセルは違い、深度推定の方はエゴモーションのみを考慮しており、物体の移動を考慮してない。そこで、それぞれが見つけたピクセルの差を減らすために、Rigid-aware direct visual odometryを追加する。

結果

KITTI2012で行ったオプティカルフロー推定では、既存の教師なしのエラーを50%減らすほど性能が向上し、教師ありと同等の性能に達した。KITTI2015で行った深度推定では、既存の教師なしのいくつかの手法よりは優れていた。

その他(なぜ通ったか?等)