- …
- …
#50 #acl2020
summarized by : Shintaro Yamamoto
概要
アテンションはNLPの様々なタスクで活用されている．アテンションの解釈性に関する議論は多くなされているが，人間のアテンションとの関連については研究されていない．そこで，人間のアテンションとニューラルネットのアテンションの関係性を定量的に分析した．
新規性
クラウドソーシングによって，人手によるアテンションのラベル付けデータを収集した．人間とニューラルネットの関係性を定量化するために，Behavioral similarity, Lexical similarity, Context-dependencyの3つの類似度を提案．また，収集したデータを用いてRNNベースのモデルと人間のアテンションの関係性を分析した．
結果
Bi-Directional RNNs with additive attentionは，提案した3つの指標いずれにおいても人間のアテンションと類似度が高いことが分かった．一方で，Uni-Directional RNNs with attentionは人間のアテンションと大きく異なっていた．
- …
- …