- …
- …
#349
summarized by : kota yoshida
どんな論文か？
オブジェクトおよび関係ラベルに関して偏っているか、またはしばしばノイズが多く欠けている注釈を伴うため、信頼できるシーングラフ予測モデルの開発は非常に困難である．
これらの問題を克服するために外部知識と画像再構成をする新しいシーングラフ生成フレームワークを提案する．
新規性
(1)外部知識ベースから常識的な知識を取り入れるための知識ベースの特徴洗練モジュールを提案．ConceptNetから有用な情報を抽出して、オブジェクトとフレーズの特徴を洗練．また，動的メモリネットワークを利用して、検索された事実に対してマルチホップ推論に応じて最も可能性の高い関係を推論．
(2)学習時にシーングラフ生成モデルを正則化するために画像を再構成して画像レベル監視モジュールを導入．
結果
Visual Relationship Detection(VRD)とVisual
Genome(VG)の2つのベンチマークデータセットを用いて実験を行い，本提案手法がシーングラフ生成する最先端の手法を上回ったことを示した．
その他（なぜ通ったか？等）
- …
- …