#6
summarized by : 鈴木共生
Evaluation-Oriented Knowledge Distillation for Deep Face Recognition

どんな論文か?

顔認証向けの知識蒸留(KD).従来の知識蒸留では教師の表現空間を生徒が模倣しており,モデルの柔軟性を阻害していた.そこで、顔認証の評価指標であるFPR(偽陽性率)とTPR(真陽性率)に注目した手法(EDK)を提案した.提案手法では教師モデルと生徒モデルでFPRとTPRが変動するサンプルの差を近づけることで生徒モデルの顔認証精度を向上させた.
placeholder

新規性

従来の知識蒸留では教師モデルの表現空間に近づけることを狙いとしており,評価指標(固定のFPRにおけるTPR)における精度向上にあまり効果がないケースがあった.提案手法では評価指標に影響のある部分を改善するロスを提案していた.

結果

他の蒸留手法との顔認証精度を比較.教師モデルはResNet50,生徒モデルはMobileFaceNetを使用.CFP-FP,CPLFW,CALFW,IJB-C,IJB-BデータのTPR評価で最も高い精度を実現した.

その他(なぜ通ったか?等)

顔認証という分野に特化した知識蒸留手法であり、精度面でも大きな改善が見られたため。また、ロスに改良を加えることで、他分野にも応用できる可能性もあるため。