#494
summarized by : 岡本大和
Dreaming to Distill: Data-Free Knowledge Transfer via DeepInversion

どんな論文か?

従来のDistillation手法がTeacherModelだけでなく学習に用いたデータ(またはデータの分布やメタデータ)を必要とする点を、ストレージやプライバシーの観点から課題視。そこで、学習済みモデルから学習データに近しいデータを生成することで、直接学習データを必要とせずDistillationなどのknowledgeTransferを実現する手法を提案。
placeholder

新規性

学習済みモデルから学習データを復元する試みはDeepDreamと類似しているが、学習済みモデルのBN-layerの平均と分散から生成データの分布を制限したり、Disagreementに着目してTeacherは認識できてStudentには認識できないデータを生成することで、いっそうリアルで、いっそう学習データ(のバリエーション)に忠実なデータを生成可能にしている。

結果

定性評価では、DeepDreamよりもリアルな画像を生成できると確認。 定量評価では、DistillingやContinualLearningにおいてDeepDreamが生成した画像を用いるよりも提案手法のDeepInversionが生成した画像を用いたほうが学習後の性能が高かった。

その他(なぜ通ったか?等)

実活用を想定したときに重要視される問題設定で、提案手法の発想も新しい。 生成画像の評価だけでなく、その画像を用いたDistillingやContinualLearningといったタスクでも従来研究より高精度を達成している。