#458
summarized by : QIUYUE
Recurrent Neural Network for (Un-)Supervised Learning of Monocular Video Visual Odometry and Depth

どんな論文か?

単眼ビデオからデプスとカメラ姿勢を同時に推定するRNN-basedなマルチビュー手法を提案.具体的に,convLSTMを用いてforwardとbackwardの10framesの情報をエンコーディング.更に,マルチビューreprojectionとforward-backward flow-consistency拘束を用いてprevious framesの時系列情報を有効的に利用できるようにした.
placeholder

新規性

1.ビデオから同時にデプス推定とVO(Video Odometry)推定を行う.2.提案手法はconvLSTMベースで,この分野でCNNベースの手法が多い.LSTMをこのタスクで良好的に適応できるようにした.3.提案手法はUn-supervisedな設定でも行える.

結果

KITTI driving datasetにおいてSOTAなsingle-viewとmulti-viewデプス推定精度を達成.

その他(なぜ通ったか?等)

LSTM Unitsでデプス推定とVO推定に必要なマルチビュー情報を表示するところが面白い.この設定でforwardとbackwardの情報を同時に利用できる.