非負な入力要素のみで relevance propagation を行うことで、非負な活性化関数に限定されていた LRP の適用範囲を広げた。 また、正規化を導入することで、self attention や skip connection での計算で発生する問題を解決している。 加えて、出力層の任意のクラスの尤度を LRP の起点とすることで、クラス毎の可視化を行うことを可能としている。

言語・ビジョンの両ドメインにおいて、定量・定性的な評価の両方で、既存手法を上回る性能を達成している。 また、クラス別可視化では、複数存在するオブジェクト毎の可視化に成功している。

Emperical な手法ではあるが、単純な修正で LRP を Transformer に適用できるようになった。クラス別の可視化を簡単に切り替えられることは、分析やモデルの評価と適用範囲が広い。 コード：https://github.com/hila-chefer/Transformer-Explainability