#155
summarized by : Shunsuke Yoshizawa
Three Ways To Improve Semantic Segmentation With Self-Supervised Depth Estimation

どんな論文か?

Segmentationにおいて、少ないアノテーションでより高い効果を出す手法を提案した論文。この手法の特徴として、(1)depthとsegmentationのマルチタスク学習、(2)Depth Mixと命名したdata augmentation及び(3)Active learning の3点がある。
placeholder

新規性

(1)depthをマルチタスク学習の対象とした点、(2)Class mix後にdepthを考慮してlabelの修正を行うDepth Mixを採用した点、(3)Active learningにおいて、depthの予測結果を基準として学習順序を決定した点。 Depthの教師データは教師なし学習によって獲得している。

結果

従来法であるClass mixにおいて、2975枚のラベリングによって達成した精度を、372枚のラベリングで達成することに成功。

その他(なぜ通ったか?等)

Depthが教師なし学習によってある程度精度良く求められるという知見を最大限に利用したことや、近いもののみが映し出されるカメラの見え方を踏まえたaugmentation手法が評価されたと考えられる。 github:https://github.com/lhoyer/improving_segmentation_with_selfsupervised_depth