- …
- …
#163
summarized by : Munetaka Minoguchi
どんな論文か？
知識蒸留において学習データの相互関係を転移させるRelational Knowledge Distillation (RKD)の提案．データの関係性を学習するために，距離方向と角度方向における損失関数を定義．
新規性
従来の知識蒸留では個々のデータにおける教師モデルの出力を，生徒モデルが模倣するように学習させていた．本研究では，複数データにおける関係性を生徒モデルが模倣することによって，より良い知識を獲得できる手法である．
結果
RKDを様々なタスクにおいて実験を行い，生徒モデルの学習に大きく寄与できることを確認．場合によっては，生徒モデルが教師モデルの精度を上回ることもある．
その他（なぜ通ったか？等）
複数データの関係性を学習するという今までにありそうでなかったアイデア．
- …
- …