- …
- …
#284
summarized by : Hiro Ishii
どんな論文か？
事前学習されたモデルの数あるチェックポイントの中から，特定のdownstreamの分類問題に最適なチェックポイントを選ぶためのメトリックであるPACTranを提唱している．PACTranは，PAC-Bayesean boundと呼ばれるモデルの転移性能を理解するためのフレームワークから派生したもので，事前学習モデルの選択とtransferabilityの測定を行うメトリックである．
新規性
転移性能を評価する既存の手法としてLEEP，N-LEEP，H-Score，LogMEが挙げられているが，LEEP系の手法は理論的に導出されておらず求まる解が最適解とはならないことが知られており，H-ScoreとLogMEは誤差関数として最小二乗和誤差が用いられることが前提となっていて分類問題の手法としては適さない．PACTranは理論的に最適解が求まることが証明されており，分類問題に適用できる．
結果
VTAB (vision) とOKVQA (vision-and-language) の合わせて21個の実験設定の内，20個の設定でPACTranのメトリックのどれかが最も良い結果を残した．GFLOPSでの計算量も示されており，PACTran系はLEEPよりは遅いが他の手法とはあまり変わらなかった．
その他（なぜ通ったか？等）
- …
- …