#207
summarized by : Hirokatsu Kataoka
Efficient One Pass Self-Distillation with Zipf’s Label Smoothing

どんな論文か?

ソフトラベルを用いて画像識別の自己蒸留(Self-distillation)を行う手法としてZipfの法則を用いる Zip's Label Smoothing(Zip's LS)を提案。対照学習や追加パラメータを用いず、ソフトな追加教師のみで精度を大きく向上させることに成功した。
placeholder

新規性

自然言語処理分野にてよく用いられるZipfの法則を用いて分布調整を行った。また、最終層の学習がボトルネックになっているとの洞察から効果的に教示を与える手法を提案したことが新規性として挙げられる。

結果

ResNet-50を用い、詳細画像識別問題であるINAT21を学習。ベースラインと比較すると3.61%の精度向上を実現した。

その他(なぜ通ったか?等)

GitHub: https://github.com/megvii-research/zipfls