- …
- …
#166
summarized by : Takayuki Semitsu
どんな論文か?
DNNモデルの理論的な解析を簡単に行う目的で、DNNモデルの各層をSparse Codingとして再定式化する方式がある。既存方式では入力層の誤差が後段に進むにつれて蓄積してしまう課題があったので、順伝搬全体を1つのSparse Coding問題として捉える方式を提案し、Skip Connectionの様に前段の層から信号が伝搬する仕組みにすることでこの課題を解決した。
新規性
(1) 順伝搬全体(Global)で1つのSparse Coding問題として捉える方式を提案したこと。(2) Skip connectionを含む順伝搬全体のSparse Coding問題をBlock Coordinate Descent法により効率的に解く方法を提案したこと。(3) 実験の中で誤差蓄積問題が解消されていることと敵対的サンプルに対するロバスト性を示したこと
結果
cifar10をデータセット, ResNetをベースモデルとして実験評価。モデルの近似誤差が改善していること、敵対的サンプルに対するロバスト性が改善していることを示した。
その他(なぜ通ったか?等)
https://github.com/wutong16/Adversarial_Long-Tail
課題が明確に書かれていて(誤差の蓄積と敵対的学習への脆弱性)、それが提案手法により解決されていることが実験によりわかりやすく示されている。提案手法のアイデアがわかりやすく(Layer-wise -> Global)、また著者らの工夫によりそれを実現している。
- …
- …