雑談対話モデルはその性質上自動評価が難しいため、5段階で良かったかどうか問うリッカート尺度での評価がよく使われているが、リッカート尺度は分布の歪みやユーザ間の一致度の低さ、感度の低さなど、問題が多いことも知られている。 Shapley などを用いてノイズデータの削除を行うなどの3ステップの学習を行った、対話の比較評価のためのモデル CMADE を提案、エキスパートのスコアと高い相関を示した。