結果以下3つの結論を得たことが新規性。1. 生徒側はTrainingロスを0にしてはいけない。2. 知識が豊富な教師を利用するのが望ましいが限界もある。3.知識は分解されていた方が良い。

他に得られている実験的な洞察として「生徒が利用できる学習サンプル数が多い場合、教師はより知識が豊富である必要がある」「生徒の課題がより困難な場合、教師はより多くの知識を保持する必要がある」「教師の隠れた特徴の複雑さが十分に低い場合、生徒が教師の特徴を模倣するのは容易である」など。

Student-Teacher学習は様々なケースがあるため、全ての分析をするのは困難だったためLimitationとして、StudentとTeacherは同一のアーキテクチャを持ち、両者の特徴は変換が適用されておらず、両者は同じタスクを解いているという前提がある。更に論文の焦点はStudentの汎化性能のみに当てられている。