#521
summarized by : Ryou Mutou
Negative-Aware Attention Framework for Image-Text Matching

どんな論文か?

テキスト-画像マッチングにおいて,画像中のテキストに一致する領域・一致しない領域の両方を考慮したnegative-aware attention framework(NAAF)の提案.
placeholder

新規性

既存の研究では,テキストに含まれている一部の要素が画像中に存在しなくても,その他の要素が一致していればマッチングの際に高いスコアを算出することがある.本研究では,画像中にテキスト内の一部要素が存在しない場合にスコアを減少させるようなモジュールを構築し,正の領域と負の領域,両方をマッチングスコアに反映させるモデルを提案する.

結果

Flickr30K,MSCOCOで最先端のモデルと比較,大幅な改善を確認.

その他(なぜ通ったか?等)