OA-BTGの新規性は主に以下の二点である。(1)video captionを双方向に見るBidirectional temporal graph, (2)時系列の内部表現とオブジェクトの内部表現をHierarchical attentionにより結合するObject-aware aggregation,

MSVDおよびMSR-VTTを用いてRecNet[Wang+, CVPR-2018]などの先行研究と比較したところ、BLEU, METEOR, CIDErといった指標でSOTAであった。

マルチモーダルやcontextを用いたマルチソースの研究が盛んになるにつれ、[Barardi+, CVPR-2017]などのHierarchical attention構造にスポットがあたっているように思われる。本論文もオブジェクトのエンコーダと時系列のエンコーダを用いたマルチエンコーダ構成になっており、Hierarchicalな構造が評価されたのではないか。