#622
summarized by : Kiro Otsu
Informative Object Annotations: Tell Me Something I Don't Know

どんな論文か?

画像に対しただ確率的に高いものをラベリングするのではなく、その画像の説明を受ける聞き手が最も得をする(知らなかった情報を得られる)ようにラベリングをする新しいタスクと、それに対する新しいアーキテクチャの提案。情報理論を用いて聞き手が知らない情報を推定するが、この時ラベルが膨大になるため木構造のグラフィカルモデルを使って情報基準を効率的に近似計算している。
placeholder

新規性

・直接的な教師あり学習によるラベリングではなく、画像を見る人が知らない情報をラベリングするという新しいタスクを提案した ・上記タスクを解くためのスコアリングをする情報理論に基づくフレームワークを提案した。 ・そのフレームワークはラベルの確率分布を木構造グラフィカルモデルで推定。 ・新タスクのためのデータセットも提供。

結果

ラベル以外の外部情報なしに、人間の判断に近いようなラベリングができた。課題としては、今はかなり一般的な文脈にしか対応していないことと、学習が容易なラベル重要度のスコアリング方法が必要であること。

その他(なぜ通ったか?等)