3次元の視線と、注視している場所の顕著性マップの正解データを、3次元の画像処理を活用して算出したLook Both Waysデータセットを構築した。また、運転手の視線の推定結果から算出される顕著性マップと、道路シーンから推定される顕著性マップが一致するように自己教師あり学習を行う手法を提案した。

男性22名と女性6名の合計28名の運転手による6.8時間の動画と、123,297通りの画像と正解データから構成されるデータセットを構築した。また、提案手法は構築したデータセットで視線ベクトルと顕著性マップのMAEに関する評価を行い、従来手法を上回る結果。

実際的な課題に対するデータセットを構築し、実験結果も要所を押さえているため通ったと考えられる。データセットとPyTorch Lightningベースの実装( https://github.com/Kasai2020/look_both_ways )が公開されている。