summarized by : Katsuya Shimabukuro
Low-Resource Response Generation with Template Prior

概要

対話応答生成のタスクにおいて、NHSMMを用いて大量のアンペアデータからテンプレートの事前分布を推定し、別途ペアデータと推定したテンプレートから応答を生成する手法を提案。質問応答および雑談における対話生成でペアデータのみを利用する既存手法と比較して、性能が向上することを示した
placeholder

新規性

トークン数とその際の潜在変数を推定し、それをもとに文生成を行うNHSMMをアンペアデータで学習。NHSMMからサンプルしたトークン数と潜在変数をテンプレートとして、ペアデータをSeqGANのスキームで教師あり学習後、強化学習する手法を提案

結果

質問応答および雑談のドメインで数百Kずつペアデータとアンペアデータで検証。ペアデータのみで学習したベースラインを上回る性能を示した。人間評価でもベースラインより良い評価を得た。