動画データの連続するフレームは似ている、また、似ているフレームは似たactivationを持つ、という仮説から、ReLUを活性化関数とした時、学習時の全フレームに対する勾配を、全フレームのactivationを用いて近似することで、必要なメモリ量を削減した。また、各フレーム間のactivationの符号によるフレームのクラスタリングを行うことで、計算量を削減しながらも近似精度を高めることに成功した

複数のデータセットに対して、提案手法で学習したモデルは、サブサンプリングを用いて学習したモデルよりも高い精度を達成した。また、サブサンプリングを用いずに全フレームでの学習を行なった場合よりも、必要なメモリ量を大きく削減した。 データセットによって精度の改善幅は異なり、長時間の行動認識タスクでは大きく精度が向上したのに対し、少ないフレーム数に必要な情報が含まれる場合は精度は大きく改善しなかった。

動画内の行動認識において、現在広く存在する課題に対する手法の提案ということで、インパクトの大きい研究ではないかと感じました。