#18
summarized by : Tomoki Tanimura
A Cross-Season Correspondence Dataset for Robust Semantic Segmentation

どんな論文か?

同一シーンにおける2つの異なる環境(天気や季節など)の画像を利用することで,環境に対してロバストにSemantic Segmentationを行える学習手法を提案.提案手法では,2つの画像から作成した3D point cloudにおける一致点を利用して,2D画像上の一致点を検出し,それらの点が同一ラベルに属するように制約をかけるロスを追加することで目的を達成.
placeholder

新規性

異なる環境(ドメイン)間の画像を,同じ地点のラベルが同一のラベルに属するという形の制約で学習することでモデルをロバストにした.

結果

CityscapesやVistasで学習したモデルを,CMUやRobotCarで作成した画像間一致点のデータとそれに対応するロスで追加学習した結果,精度(mIoU)が向上したことを確認.

その他(なぜ通ったか?等)

画像間で一致している点が,同じクラスに属するという制約で,様々な環境に対してロバストに学習できるというアイデア自体は,ドメイン適応の分野とは異なる.また,Semantic Segmentation以外のタスクに対しても拡張可能性があるため.