#722
summarized by : Seitaro Shinagawa
SCOUT: Self-Aware Discriminant Counterfactual Explanations

どんな論文か?

画像の専門的なラベル付け訓練を目的として、付けたラベルがどうして間違っているかの説明を提示するcounterfactual visual explanationの新しい手法を提案。counterfactualのサンプルと比べた時に、どの部分が異なる領域なのかを検出する問題としてタスクを再定義し、counterfactualクラスとのheatmapの差分を利用したモデルSCOUTを提案した。
placeholder

新規性

先行研究では、counterfactual explanationとなる領域を特徴量間の貪欲サーチで決定し、パッチを置き換えて画像を合成して表示することでexplanationとしていた。本研究では、クエリ画像とcounterfactual画像の予測の根拠を表すheat map、および確信度マップの集合を基に該当する対応する領域を検出することで高速に動作する。

結果

CUB200とADE20Kの2つのデータセットを利用し、データセットから擬似的に計算されるground-trudhを基にしたPart IoU、およびrecall precision、image per second(IPS, 単位秒あたりの処理能力)で評価。提案手法の方が、先行研究よりもユーザの精度が増し、単位当たりの処理能力も高いという結果になった。

その他(なぜ通ったか?等)

解答に対する根拠を理由付けするタスクは注目されており、素人のアノテーションを訓練するという目的としても今後重要だと思われる。exhaustive searchしなくて済むことによる計算時間の短縮は貢献として大きいと思われる。