#468
summarized by : Hirokatsu Kataoka
Learning Student Networks in the Wild
Hanting Chen, Tianyu Guo, Chang Xu, Wenshuo Li, Chunjing Xu, Chao Xu, Yunhe Wang

どんな論文か？

大規模なラベルなし画像データを最大限に利用するためのData-free Distillationを提案。画像に示すように、Teacher Networkはラベルあり画像データを用いるがデータが秘匿されている場合を想定、Student Networkはラベルなし画像データにより学習することを想定する。
placeholder

新規性

元のデータに対するTeacher/Student Networkの出力の違いを解析して、適応行列（Noisy Adaptation Matrix）を学習する。さらに、Data-Free Noisy Distillation（DFND）を用いて従来の同問題設定における蒸留手法よりも優れていることを明らかにした。

結果

CIFAR-10/100, ImageNet, NYUv2データセットにおける実験の結果、Data-Free設定での蒸留手法においては最も高い精度を実現した。

その他（なぜ通ったか？等）

このページで利用されている画像は論文から引用しています．