#164
summarized by : Yuya Yoshikawa
Towards Better Understanding Attribution Methods

どんな論文か?

認識モデルの出力に影響を与える画像領域を説明する手法の評価スキームを3つ提案。 提案スキームは、n x nのグリッドに画像を並べた人工画像を入力として、説明手法があるクラスに対応する画像部分を重要な領域だと判定できるかで評価する、Grid Pointing Game (GridPG)のアイディアを踏襲するもので、より忠実に、より公平に、よりシステマティックに、説明手法を評価できるようにした。
placeholder

新規性

忠実度UP:GridPG同様に説明手法を評価する際、隣接画像の影響を認識モデルが受けないようにする、DiFullの提案。 公平さUP:認識モデルの同じレイヤーの出力を用いたときの説明法の出力を評価する、ML-Attの提案。 システマティックUP:一部の画像だけでなく、データセット全体で評価できる、AggAttの提案。

結果

ImageNetとCIFAR10で学習したVGG11とResnet18を認識モデルとして使用し、backpropagation・activation・perturbationのそれぞれに基づく説明手法を用いて比較。 認識モデルの最終層の出力を利用することで、説明の忠実度は向上する傾向。 認識モデルの同じレイヤーの出力で比較した場合、いくつかの説明手法で従来言われていた性能差は無くなる。

その他(なぜ通ったか?等)

実験コード: https://github.com/sukrutrao/Attribution-Evaluation