従来手法では、教師モデルの出力/中間表現の生 or 変換値、attentionの出力、変換行列等を学習させていた。また、いずれも１個の訓練サンプルから１個の特徴を計算して生徒モデルの学習に使っていた。共通の問題として、教師/生徒モデルの構造が異なると上手く機能しなかった。本論文では複数の訓練データに対する出力/中間表現の集合から１個のIRGを計算して学習に利用し、適用範囲と安定性を高めている。

CIFAR10、CIFAR100-coarse、CIFAR10-fineを対象とした画像分類タスクにおいて、大規模なResNet / ShuffleNetを教師モデル、小規模なResNetを生徒モデルとして比較実験し、SOTAとして設定した４種のモデル全てに精度で優位であった。