summarized by : kento tajiri
A Logic-Driven Framework for Consistency of Neural Models

概要

NLPのモデルの予測結果には、多くの場合論理的な非一貫性がある。(例:NLIで文P,H,Sについて「P→H」かつ「H→Z」のとき、「P→Z」が成り立たない)この論文では、この論理的非一貫性の計測と軽減の方法を提案した。
placeholder

新規性

提案した損失関数に普通のクロスエントロピーを特殊なケースとして盛り込むことに成功した点、提案した計測と軽減の手法がデータセットに依存しない点、ごく少量の教師信号でも非一貫性を大幅に削減できた点

結果

NLIのモデルに対して提案した損失関数を適用した。モデルの元々の予測精度を改悪せずに、定義した非一貫性の指標の数値を大幅に削減した。