#57
summarized by : Katsuyuki Nakamura
Ego-Topo: Environment Affordances From Egocentric Video

どんな論文か?

一人称視点映像を入力として、環境のアフォーダンス(場所が持つ機能的な意味)を教師なし学習する技術を提案。
placeholder

新規性

Egocentric visionにおける新規なタスク「教師なしアフォーダンス推定」を提案。画像の類似性、時間的な隣接性などを利用して”Activity Zone”を抽出し、位相グラフを自動生成。さらに生成したグラフを用いて次に起こる行動を予測。

結果

料理をユースケースとして、EPIC-KitchensとEGTEA+でSoTA

その他(なぜ通ったか?等)

タスク新規性「教師なしアフォーダンス推定」、技術新規性「位相グラフ生成と行動予測」が評価されたのではないか。CVPR2020では「オブジェクトインタラクション推定」「自己姿勢の推定」「ハンドセグメンテーションのドメイン適合」など、多様なEgocentric visionのタスクが提案されている点が興味深い。