#525
summarized by : hayamizu ryo
It Is Okay To Not Be Okay: Overcoming Emotional Bias in Affective Image Captioning by Contrastive Data Collection

どんな論文か?

Affective Image Captioningのタスクにおけるアンバランスな感情分布と一般的なキャプションを特定し,学習済みモデルに与える影響を調査.感情バイアスを軽減するために対照的データ収集によってArtEmis v2を導入.これによりニューラル・スピーカーの性能が向上を示唆.
placeholder

新規性

絵画による感情のデータセットとしてArtEmis v2.0を構築.対照的なデータ収集として絵画と24の類似した絵画を表示し,ユーザーは元の絵画と反対の感情を引き起こす最も近い絵画を選択する.元の絵画の感情に応じてユーザーはポジティブまたはネガティブな感情のキャプションを見ることが可能.

結果

ArtEmis v2.0でNearest Neighbor, SAT, Meshed-Memory Transformers (vanilla and modified versions)比較した結果,METEORスコアとROUGE-LスコアではArtEmisに対するSATの相対的な改善度はそれぞれ28%と29%,ArtEmis v2.0データセットではそれぞれ65%と63%の改善となった.

その他(なぜ通ったか?等)

https://artemisdataset-v2.org