- …
- …
#79
summarized by : Rei Tamaru
どんな論文か？
従来のAdversarial Training(AT)は実行するのに時間がかかった。そのためadversarialな摂動のrobustnessを用いたtransferabilityの特性を使ってTeacher-Studentモデルで学習を行い、taskだけでなく異なるモデル構造でも転移学習が可能であることを示した論文。
新規性
robustnessを異なるタスクだけでなく、異なるモデル構造に対しても転移させることを可能にした点で新規。
結果
学習を行ったstudentモデルがteacherモデルや他の重みを転移したモデルに比べて精度が良くなった。また、ATの計算時間も短縮できた。
その他（なぜ通ったか？等）
Adversarial Exampleのrobustnessについては従来から重要な特徴であると考えられていたが、それをモデルに対して転移学習を行った初めての研究であり、単純な実験ベースではなく、理論的にも証明しているから。
- …
- …