左右の手と、左右または両方の手で触れている物体の5種類を区別してピクセル単位でセグメンテーションしたEgoHOSデータセットを構築した。また、セグメンテーションされたラベルからフィルタ計算で手と物体の境界を求め、その境界も推論する手法と、背景のみのデータを準備してから背景が似た画像と手や物体を合成してデータ拡張する手法を提案した。

Ego4DとEPIC-KITCHENSとTHU-READのフレームと自ら収集した画像の合計11,243枚にアノテーションしたデータセットを構築した。また、構築したデータセットと提案手法を使用して、YouTubeの一人称視点の動画から作成したテストデータで評価を行い、既存データセットと従来手法を上回る結果。

データセットのラベルが高精細であることをセグメンテーション性能の高さで示したため通ったと考えられる。プロジェクトページ( https://www.seas.upenn.edu/~shzhou2/projects/eos_dataset/ )及びMMSegmentationベースの実装( https://github.com/owenzlz/EgoHOS )が公開されている。