#277
summarized by : Yuto Shinahara
Target-Absent Human Attention

どんな論文か?

画像上に探索対象が存在しないときの、人間の視線移動の経路予測に取り組んでいる。具体的には、「視覚的探索時にどのような情報を獲得しているか」を定量的に表現するモデル Foveated Feature Maps(畳み込みニューラルネットワークが生成する特徴ピラミッドと、注視点周辺の解像度分布の定量的な特性を組み合わせる)を提案し、人間の視覚探索行動を逆強化学習のフレームワークに落とし込んで予測する。
placeholder

新規性

①人間が「視覚的探索時にどのような情報を獲得しているか」を定量的に表現するモデルを提案した。②視線移動の経路予測において、従来手法と比較して高い精度を達成した。③複数の視線移動経路の類似度を計算する新しい評価尺度を導入した。

結果

自然画像から目標物を探索する視線行動のデータセットCOCO-Search18を用いてモデルの学習・評価を行い、探索対象が不在時および存在時の両方において、提案手法で従来手法以上の視線移動経路の予測精度を達成した。具体例は添付画像を参照されたい(1行目がGround Truthで、2行目が提案手法)

その他(なぜ通ったか?等)

GitHub: https://github.com/cvlab-stonybrook/Target-absent-Human-Attention COCO-Search18: https://sites.google.com/view/cocosearch/?pli=1