イベントカメラを用いた高速人物動作推定の初めての単眼アプローチ。 提案手法は次の3段階で構成 ・低フレームレートで出力される強度画像間のイベント軌跡を追跡。 ・強度画像からのCNNベースの2D/3Dキーポイント推定結果とイベント軌跡を用いて、3次元姿勢の動きを最適化で推定。 ・イベントカメラの出力の多くは人物シルエットの境界であることを用いて、人物メッシュを最適化により精緻化。

6人の俳優の12のシーケンスからなる単眼イベントベースの新しい3Dモーションキャプチャデータセットを作成。 夜間の屋外で撮影された黒装束を着た人物のように、人間の目で見分けれないような条件でも推定可能。 同じ1000fpsで撮影した通常カメラ画像と比べると、より良い精度かつ3.4%のデータ容量で済む。

データセットは公開予定。計算速度は遅く40フレームに4.5分かかる。