#238
summarized by : Koki Obinata
SpotTune: Transfer Learning Through Adaptive Fine-Tuning

どんな論文か?

Fine-tuningの戦略の最適化に関する手法.事前学習終了時で固定したパラメータとfine-tuningするパラメータとのいずれを使うかを,DNN(本論文ではResNet)の各層毎に判断するpolicy networkをfine-tuning時に同時に学習する.上記の判断は学習時,推論時共にサンプル毎に行われる.他のfine-tuning手法と比較して高い性能を示した.
placeholder

新規性

入力サンプルに対して層毎に,固定されたパラメータとfine-tuningされたパラメータのどちらを通るかを判断するアプローチの提案.

結果

5つの5つの単体のデータセット及びVisual Decathlon Challengeの10個のデータセット,合計14種類のタスク(Flowersデータセットが単体及びDecathlonの両方に含まれる)で検証し,単体データセットでは3/5で,Decathlonでは総合スコアで他のfine-tuning手法を上回った.

その他(なぜ通ったか?等)

合計14種類のタスクで検証し,有用性を示した点.