知識蒸留 (KD)に関する論文。中間層も使うタイプのKDは、教師モデルと生徒モデルのネットワーク構造が大幅に異なる場合に適用することができなかった。また、学習の段階に応じて知識のやり取りの強度を調整するといったことはこれまでなされてこなかった。これらの課題を解消することが本論文の目的である。