#958
summarized by : 古川 遼
BANet: Bidirectional Aggregation Network With Occlusion Handling for Panoptic Segmentation

どんな論文か?

パノプティックセグメンテーションにおいて、インスタンスセグメンテーションとセマンティックセグメンテーションの間の特徴を双方向に共有する学習手法を提案。また、インスタンス間のオクルージョン対策のための新たなアルゴリズムを提案。これらを用いたモデルは、MS COCO において panoptic quality (averaged over categories) の指標で SOTA を達成した。
placeholder

新規性

Instance-to-Semantic (I2S) と Semantic-to-Instance (S2I) の双方向に特徴を共有する学習手法を提案した点 (既存手法は S2I 方向のみ)。正確な I2S のために、クロップされた特徴の再配置において RoIUpsampling に代わる RoIInlay を提案した点。 インスタンス間のオクルージョンを扱う新たなアルゴリズムを提案した点。

結果

MS COCO の val (resp. test-dev) において、ResNet-50-FPN (resp. DCN-101-FPN) をバックボーンとするモデルで、panoptic quality (averaged over categories) の指標で SOTA を達成。可視化から、オクルージョンを扱う手法で人に重なるネクタイなどのインタンスが検出されるようになることを確認した。

その他(なぜ通ったか?等)

パノプティックセグメンテーションにおいて、インスタンスセグメンテーションとセマンティックセグメンテーションの間の特徴を双方向に共有する学習手法 (特に I2S ) が新しく、その他にもいくつか新たに手法を提案していたこと、パノプティックセグメンテーションのタスクで SOTA を達成したことが採択された理由と考えられる。