アーキテクチャ等がblackboxになっているteacher netから効率よくstudent netにdistillationをする手法を提案。Mix-upにより少量の学習データから大量の合成画像を生成するとともに、その中からteacher netへのクエリとして用いるデータをactive learningにより選択するのがポイント。