#166
summarized by : 福原吉博 (Yoshihiro Fukuhara)
Auxiliary Training: Towards Accurate and Robust Models

どんな論文か?

モデルの頑健性と通常の精度の間のtrade-off問題についての研究。自己蒸留を用いた、Auxiliary Trainingという新しい学習のフレームワークを提案している。
placeholder

新規性

Auxiliary Trainingという新しい学習のフレームワークを提案している点。提案手法では、Backbornを共有した、複数のheadを持つ分類器を用いる。それぞれのheadに特定のノイズ画像を正しく分類することを学習させ、最後に自己蒸留によって知識を1つの分類器に集約する。

結果

CIFAR10とCIFAR10-Cを用いた実験では、Patch Gaussianや画像の回転を使用した既存のデータ拡張と比較して、精度とcorruptionに対する頑健性の両方を向上した。また、提案手法を用いて、Adversarial Trainingとcorruptionに対する学習を同時に行うとAdversarial Examplesに対する頑健性が向上することも確認した。

その他(なぜ通ったか?等)