動作特徴を抽出するI3D（Inflated 3D Network）をベースモデルとして、候補領域（Region Proposal Network; RPN）と行動認識のための特徴抽出を行うAction Transformerを提案した。さらに、Self-attention機構も加えることにより、人物や物体に着目した特徴抽出を可能とした。アーキテクチャは図に示す通りである。

Atomic Visual Actions (AVA) datasetにて検証した。AVAでは「人物を見る」「会話している」など抽象的なカテゴリも含むが、提案手法は人物特化のアテンション機構により認識精度を向上させることに成功。I3Dをベースモデルとしたモデルでは25.0@Val mAP, 24.93@Test mAPを達成した。