#22
summarized by : Yuma Ochi
Dataset Distillation by Matching Training Trajectories

どんな論文か?

少ない合成データセットを使ってリアルデータセットを用いた学習と同等の性能を得ることを目的とした、新しいデータ蒸留アプローチを提案。リアルデータと合成データを使って、ある程度回数ネットワークを更新した後の重みが近くなるようなLoss(Long-Range Parameter Matching)を用いて合成データを更新していく手法を提案。
placeholder

新規性

1回の重み更新に着目するのではなく、ある程度回数の更新後の重みが近くなるように合成データを学習することで、従来の課題である学習の不安定性や、莫大な計算資源の必要性等を解決。更に、従来は計算コストが原因で実験されていなかった128 x 128サイズのデータ蒸留をImageNetで実現させた。

結果

CIFAR-10, 100とImageNetを用いた検証で、すべての1, 10, 50 IPC(Images per Classe)においてSoTA達成。

その他(なぜ通ったか?等)

https://georgecazenavette.github.io/mtt-distillation/