事前訓練モデルを用いて新しいデータセットに適合させるためにfine-tuningを行うことはコストがとてもかかり、モデルとして巨大になってしまう。 そこで、本論文では事前訓練モデルに加えて小さいサイズの訓練済みの畳み込みブロックを用い、最適な組み合わせを探索することでfine-tuningに匹敵する精度を叩き出しながら、パラメータ数を大幅に削減した。