#330
summarized by : Fumiharu Suzuki
Failure Modes of Domain Generalization Algorithms

どんな論文か?

ドメイン汎化の失敗の原因を特定する手法として、特徴抽出器の出力のロジスティック回帰に基づいて汎化誤差の内訳を(図中a)学習データのunderfitting、(b)テストデータの特徴抽出の失敗、(c)学習データとテストデータの方向の不一致、(d)分類器の未汎化の4つに汎化損失を分割した。実験により、データセットやドメイン汎化手法の違いに依存した損失の主因を分類可能であると示した。
placeholder

新規性

ドメイン汎化について様々な手法が試行されているが、データセットによってはドメイン適応を用いない場合より性能が低いことも報告されており、それらの失敗の原因や特徴を精査した研究は少ない。本論文では分類問題において、NNの特徴抽出器の出力がそもそも分類可能か、またドメインによらず近い分布になっているかという観点で損失の内訳を定義し、任意のドメイン汎化手法の失敗の原因を精査するための手法を提案している。

結果

本論文の設定における実験では、Colored MNISTでは分類可能な特徴を出力しており、主に(c)学習データとテストデータの方向の不一致、(d)分類器の未汎化が原因で失敗していることを明らかにした。Camelyon-17では、(b)テストデータの特徴抽出の失敗が発生していることを明らかにした。改善策として分類器と特徴抽出器のどちらに注目すべきか示唆する結果である。

その他(なぜ通ったか?等)

完成版の論文 https://arxiv.org/pdf/2111.13733.pdf