#232
summarized by : Shinnosuke Matsufusa
Improving Robustness by Enhancing Weak Subnets

どんな論文か?

最近かなり取り上げられている、摂動入力に対するロバストネスを向上させよう問題の新しいアプローチ。仮説としては、「ネットワーク内にあるいくつかの脆弱なサブネットワークが、ネットワーク全体の脆弱性を上げているのでは?」という内容。ネットワーク内の、摂動に脆弱なサブネットワークを検索し、それを強化することで解決している。
placeholder

新規性

ロバスト性の向上のために、ネットワーク内のサブネットに焦点を当てている点。 敵対的ロバスト性については、トレーニングの定式化により改善されつつあるものの、サブネット単位でアプローチする前例は、知る限りでは無い。

結果

摂動が加えられた入力に対するロバスト性も、クリーンな入力に対する精度も、どちらも本手法で改善された。

その他(なぜ通ったか?等)

シンプルに、多くの場面で有用だと思った。NASにも影響を受けたと書いてあるが、まさかロバスト性と結びつけてアプローチする発想は斬新。 また、今後Kaggleでよく使用されそうだと思った。