summarized by : Katsuya Shimabukuro
SherLIiC: A Typed Event-Focused Lexical Inference Benchmark for Evaluating Natural Language Inference

概要

Katsuya Shimabukuro
placeholder

新規性

語彙の意味推定を行うLexical Inferenceタスクにおいて、Natural Language Inferenceの手法で評価できるような、Named Entityをそのタイプ(PERやPRGなど)に置換したデータセットを構築し、その難易度を評価し、既存の手法では人間の精度を上回れないことを示した

結果

Lexical Inference用のデータセットとして片側の文のみをNamed Entityのタイプに置換したデータセットはあるが、両文をNamed Entityのタイプに置換したデータセットはなく、両文をNamed Entityのタイプに置換した方が、より意味推定タスクの評価用に有用であると考え構築し評価を行った