チャットボットにとって論理的に整合する対話を行うことは重要だが、これまでに高度な推論能力を計測できるオープンドメインかつmulti-turnのデータセットが存在しなかった。例外としてCoQAがあるが、これはreading comprehensionのためのデータセットで文脈となるテキストに対するQAである。一方MuTualは次の文の予測をするというタスクになっている点が異なっている。

BERT、RoBERTaなどの最新の手法をベースラインとして評価した結果、RoBERTaでの正解率は71.3%にとどまった。英語に堪能な人間の正解率は94%であり、まだまだ向上の余地がある難しいデータセットになっている。Ablation studyでは、対話履歴を削除することで予測性能が下がることを示し、文脈情報が正解するのに必要な情報であることが示唆されている。