- …
- …
#359
summarized by : Kodai Nakashima
どんな論文か?
新しいファインチューニングの方法を提案した論文である.一般的にはバックボーンとヘッドを再学習するフルファインチューニングが行われるが,モデルサイズが大きくなってきた現在では実現できないこともある.また,ヘッドのみや重みの一部のみの再学習などはフルファインチューニングに劣ることが多い.そこで本論文では入力に学習可能なパラメータを追加することでバックボーンを固定したファインチューニングを行う.
新規性
新しいファインチューニング方法(Visual Prompt Tuning; VPT)を提案した.VPTを用いることで効率的なファインチューニングが実現できる.追加するパラメータはバックボーンの1%未満であるためストレージに優しい.
結果
VTABなどを用いた24の下流タスクにおいて,20のタスクでフルファインチューニングを上回った.ヘッドのみの再学習よりも高性能.
その他(なぜ通ったか?等)
- …
- …