- …
#3
summarized by : Teppei Kurita
どんな論文か？
ステレオDepthは実写データとCGデータ(真値あり)の間にドメインギャップが存在するのが課題であった。そこでドメイン変換とステレオマッチングをEnd2Endで学習する方法を提案。
新規性
従来のドメイン変換では無視されてきたエピポーラ制約を維持するようにロスを定式化したことが新規性。本的な損失として、CG(Real)→実写(Fake)とその反対の２つのGANロスと、それをくるっと回したConsistencyロスを使用。また各ドメイン変換時の中間特徴量は3次元位置で一致するという制約の下、生成されたDepthでReprojectionをした各生成器の特徴量の一致度も損失としている。
結果
KITTI2015にてSOTA。
その他（なぜ通ったか？等）
3次元の特徴量位置が一致するべきで、その類似度を定式化するために結果のDepth(Disparity)を使うというアイデアの納得感が強い。またドメイン変換とタスクの共同最適化は実応用でも非常に重要な領域であるため。
- …