単純に自己教師あり学習を適応するだけではなく、実数値をとるモデルを蒸留することとBNN同士の対比学習を行う学習方略を提案した。さらに教師なしでBNNを学習する際での学習率スケジューラなどのチューニングが結果にどう反映されるか分析している。

提案方略を使用しないモデルと比較して5.5~15%の精度向上をもたらした。