- …
- …
#393
summarized by : Yue Qiu
どんな論文か？
知識蒸留の手法KDCL (Knowledge Distillation via Collaborative Learning)を提案．異なるLearning capacitiesを持ったモデルを同時に汎化性能を向上できる．従来の２-staged教師-生徒モデルと比べ，提案手法ですべてのモデルをStudentsとし，Collaborative Learningを通して全生徒モデルを向上させる．
新規性
①すべでのDNNsをStudentsとして取り扱い，Collaborative LearningによりすべてのStudentsモデルの性能を向上；②従来の2-Stage手法より性能が良いうえに，parallel computing, fast computations, generalization abilityなどに優位；
結果
CIFAR-100やImageNetデータセットにおいてStudentsモデルを改善できた（ResNet-50, MobileNetV2の組合せでImageNetで従来の手法より1.4%,2.0%向上）．また，提案のKDCLがObject detectionやSemantic segmentationへの遷移能力も示した．
その他（なぜ通ったか？等）
One-stageで行えるので，Flexibility，RuntimeなどがAdvanced．数々のデータセットで性能向上ができた．
- …
- …