summarized by : Akihiro Matsufuji
Ali Furkan Biten, Lluis Gomez, Marcal Rusinol, Dimosthenis Karatzas
Image Captioningにおいて事前知識を含めた人間のような解釈文を出力するための提案
従来のデータセットを用いた(MS COCO, Flicker)Image Captioningでは文脈や事前知識を要する自然な説明文の生成は困難であった.
この事前知識を考慮するために,ニュース記事とその説明文を用いる.
・従来データセットと異なり,大量の特有の単語を獲得する.
・獲得した語彙外の単語を格納するために,二段階の学習構造
従来手法に比べ,人間評価により精度が向上した.
また,ニュース記事のデータセットを公開した.