マウスを動かしながら人に画像を口頭で説明させ、それを文字に起こすことで、画像・テキスト・音声・画像内での位置を対応づける Localized Narratives のデータセットを用意し、その有用性を示した。