条件付き画像説明文生成において、生成条件をVerb-specific Semantic Roles (VSR；動詞と名詞や位置の副詞などの意味的役割）とする手法を提案。与えられたVSRに対応する画像特徴量を抽出するモジュールと、VSRの各エンティティをどの順番で生成するかを決めるsemantic structure planner (SSP)で構成される。色々な長さや粒度で文を生成可能。