- …
- …
#351
summarized by : 角田良太朗
どんな論文か？
videoのインスタンスセグメンテーションをonlineに推論する新しい学習手法の提案。ラベルの伝搬機構を重視し、インスタンス毎に異なる特徴量が隣接フレームで連続するように学習させる。
新規性
online方式がoffline方式に劣る原因と調査し、マスク品質に大差はなく、ラベル割り当てがボトルネックであることを実証。そこでDeformableDETRをベースにクエリ特徴量が明瞭に区別されかつフレーム間で一貫性を持つよう、対照学習的なロスの導入及び、メモリバンクへの保存期間を考慮に入れたsoftmaxによるインスタンスのマッチングを提案する。
結果
YouTubeVOS及びOVISデータセットを用いて検証。online方式でありながら既存手法をoffline方式含めAPで大幅に上回る。
その他（なぜ通ったか？等）
https://github.com/wjf5203/VNext
- …
- …