- …
- …
#178
summarized by : Masanori YANO
どんな論文か？
画像に含まれる複数の対象のバウンディングボックスとともに、それらの対象の活動内容や役割を認識するGSR(Grounded Situation Recognition)のタスクを考案し、SWiG(Situations With Groundings)データセットの構築に加えて、GSRのタスクを解くJSL(Joint Situation Localizer)も提案した。
新規性
新たなタスクであるGSRのための、バウンディングボックス、一つの動詞及び複数の名詞をアノテーションしたSWiGデータセットを構築した。そして、物体検出と状況認識の二つの問題を個別に解くISLに対し、統合させて一つのモデルで解くJSLを提案した。
結果
SWiGデータセットを使用して、物体検出を含まない従来手法やISLとの比較を行い、JSLはRNNベースの手法では最も高い精度。また、状況を踏まえた画像検索や条件付きGSRなど、将来的に考えられるSWiGデータセットの活用方法も提示した。
その他（なぜ通ったか？等）
新たなタスクのための大規模なデータセットを構築し、タスクを解く手法も提案しているため通ったと考えられる。プロジェクトのページ( https://prior.allenai.org/projects/gsr )があり、ソースコードとデータセットはMITライセンスで公開されている。
- …
- …