層毎にファインチューニングする場合はペナルティを課す損失関数を導入し，さらに微分可能とすることで，可能な限りパラメータを増やさず（ファインチューニングせず事前学習済モデルの重みを使用し），ターゲットタスクの性能を下げないことを可能とした． また，事前学習時のタスクとの類似性やタスクの複雑さに応じて，手動ではなくTAPSによってネットワーク全体を最適化できる．

ResNet, DenseNet, ViTでTAPSは有効であることを示した．

TAPSの有効性を3つのアーキテクチャで示したことが採択につながったと考えられる．