社会的信号予測問題の定式化。自由度が高く非侵襲の設定で高精度のノンバーバル信号を収集し、リッチな信号からの社会的インタラクション予測を行ったこと。

3人のうち2人分のジェスチャを入力として残り1人の会話状態、話者配置およびジェスチャを予測するタスクを検討。姿勢、顔表情および身体運動のいずれもが予測性能上昇に寄与することを実証。

CMUのPanoptic Studioを全面活用し、モーションキャプチャを用いずに精細な3次元情報を計測したからこそできる研究。限られた情報や制約付きの条件で類似タスクを行った研究はあったが本研究はデータ品質で明らかに一線を画している。ヒューマンロボットインタラクションなど多彩な応用があり今後取り組まれるべき領域。