新しくpointing mechanismを使用したLSTM with pointing (LSTM-P)を提案。通常のLSTMを使用したモデルのほか、予めオブジェクト認識のデータセットで学習したオブジェクト学習機を用意。オブジェクト学習機が新規オブジェクトを検知し、生成される文章のどこに新規オブジェクトを挿入するかをpointing mechanismで動的に決定する。

新規オブジェクトが含まれる画像から生成されるキャプションが新規オブジェクトを含むかの評価（F1-score）で60.9%。従来のSOTAを上回る結果。

新規オブジェクトの自動キャプション生成の実用性と従来のSOTAを上回る結果。