論理推論のMarkov Logic Networkと深層学習を組み合わせる。入力動画からシーングラフを生成し、このシーングラフに対してMLNによる論理推論で行動認識する。論理推論を活用する他の手法はドメイン・エキスパートが論理式の集合を事前に用意する必要があるのに対し、提案法は強化学習を用いたデータ・ドリブンな手法で論理式の集合を生成できる点が強みである。

行動認識のベンチマークであるCAD-120とCharadesで評価し、従来法に匹敵する制度と高い解釈性を両立できていることを示した。