知識蒸留は通常Pre学習された複雑な教師モデルから学生モデルに知識を伝達するが、最近は学生のみで自身の知識を蒸留する「自己知識蒸留」が注目されている。そこで補助的な自己教師ネットワークを利用し分類器に洗練された知識を転送する方法を提案。