- …
- …
#494
summarized by : 岡本大和
どんな論文か?
従来のDistillation手法がTeacherModelだけでなく学習に用いたデータ(またはデータの分布やメタデータ)を必要とする点を、ストレージやプライバシーの観点から課題視。そこで、学習済みモデルから学習データに近しいデータを生成することで、直接学習データを必要とせずDistillationなどのknowledgeTransferを実現する手法を提案。
新規性
学習済みモデルから学習データを復元する試みはDeepDreamと類似しているが、学習済みモデルのBN-layerの平均と分散から生成データの分布を制限したり、Disagreementに着目してTeacherは認識できてStudentには認識できないデータを生成することで、いっそうリアルで、いっそう学習データ(のバリエーション)に忠実なデータを生成可能にしている。
結果
定性評価では、DeepDreamよりもリアルな画像を生成できると確認。
定量評価では、DistillingやContinualLearningにおいてDeepDreamが生成した画像を用いるよりも提案手法のDeepInversionが生成した画像を用いたほうが学習後の性能が高かった。
その他(なぜ通ったか?等)
実活用を想定したときに重要視される問題設定で、提案手法の発想も新しい。
生成画像の評価だけでなく、その画像を用いたDistillingやContinualLearningといったタスクでも従来研究より高精度を達成している。
- …
- …