#92 #acl2020
summarized by : Tosho Hirasawa
Learning to Recover from Multi-Modality Errors for Non-Autoregressive Neural Machine Translation
Qiu Ran, Yankai Lin, Peng Li, Jie Zhou

概要

非自己回帰（NAR）モデルでは予測時に周辺の単語情報を使用できないため、単語の重複や消失（multi-modality 問題）が発生する。本研究では、NAR モデルの一部に自己回帰（AR）な仕組みを導入することで multi-modality 問題に対処した。
placeholder

新規性

出力系列を複数のセグメントに分け、各セグメント内では AR に単語を予測する手法を提案した。全セグメントでの予測は並行して行われ、予測にはセグメント内のすでに予測した単語だけではなく、他セグメントで予測された単語も使用する。また、セグメントの削除を示す DEL を追加し、このトークンが出力されたセグメントは出力から削除する。

結果

ベースラインからの改善が見られた。また、セグメント数を２に設定した場合、ARモデル（27.17）とほぼ同等の性能（27.11 BLEU）を示した。また、他の NAR モデルと比べ、文長の長い文の訳出精度が向上した。

このページで利用されている画像は論文から引用しています．