#5
summarized by : Yoshiki Kubotani
Sparse Instance Activation for Real-Time Instance Segmentation

どんな論文か?

完全にboxフリーなインスタンスセグメンテーションの研究。YOLACTやCondInstのように、globalなmaskを別ブランチで予測したカーネルを用いて畳み込むことにより最終的なマスクを得る。訓練時に組合せ最適化を用いてlossを計算することで、instance-awareなIAMを生成しそこからglobalなmaskを得るため、推論時にNMSなどの事後処理がいらず高速化(約40FPS)。
placeholder

新規性

従来は推論時に多くのmaskを提案し、NMSなどの事後処理を経て最終的なmaskを得ていた。本研究では組み合わせ問題を用いてlossを計算することでinstanceごとにmaskが生成されるようにモデルを訓練し、推論時には事後処理なしでmaskを出力できるようにしたのが新規性。これにより従来のSoTA同等の精度を維持しつつ、40FPSを超えるリアルタイムなインスタンスセグメンテーションを実現した。

結果

COCO datasetを用いて訓練を行い、従来手法と同等以上の精度を出しつつ、40FPSを超える推論速度を達成している。

その他(なぜ通ったか?等)

しっかり動くコードを公開している(自分もコードを動かしてみたが、精度の良いセグメンテーション結果が得られた)。すでにgithubに多くの星がついており、注目されていることがわかる。また、多くのablation studyを行い、提案手法の有効性、モデルやlossの構成などを議論している。