- …
- …
#18
summarized by : Yuma Ochi
どんな論文か？
少数合成データサンプルで大規模データサンプルの学習の性能に匹敵するような、新しいデータセットの蒸留のアプローチを提案。合成データの識別性能を上げるだけでなく、リアルデータの特徴の分布に合わせるような、データセット蒸留手法を提案。
新規性
最新手法に、実データと合成データの勾配をマッチングさせる手法があったが、過剰適合してしまう課題があった。本研究では、中間層の特徴の分布をマッチングさせ、よりロバストに学習できることが示された。
結果
5つのデータセットで1 / 10 / 50 Image Per Class(IPC)の検証を行った。1 IPCにおいてはすべてのデータセットにおいてSoTA達成した。
その他（なぜ通ったか？等）
https://github.com/kaiwang960112/CAFE
著者らはより大規模なデータセット(ImageNet)への応用が課題として挙げていてた。
今回はConvNetを使って検証していたが、更に深いモデルにも応用できるのか気になった。
- …
- …