- …
- …
#87
summarized by : Hiroki Nakamura
どんな論文か？
Unsupervised な gaze の表現学習を提案した論文。
これまでの教師なしの表現学習では、画像分類などより一般的なタスクへの適用が目的であり、gaze estimation には適切でない問題があった。
この論文では、より gaze estimation に適した表現を学習する Cross Encoder という手法を提案。
新規性
目の画像から eye identity な特徴と gaze の特徴の2つの特徴を抽出する手法を提案。
また、画像から抽出した2つの特徴量のうち、1つだけが共通しうるような画像のペアを用意。それぞれから抽出した2つの特徴量のうち、共通しうる1つを交換して画像を再構成する Cross-Encoder の提案。
結果
Columbia, UTMultiview, MPIIGaze データセットを用いて、100 shot-gaze estimation の実験を実施。既存の unsupervised な表現学習手法と比較して mean-angular error の改善を確認。
その他（なぜ通ったか？等）
ある顔画像中の左右の眼は異なる目だが、gaze はほぼ同じ、という目の特徴を使用した auto-encoder の構成が面白いと感じた。
- …
- …