#136
summarized by : Haruhi Shida
A Broad Study of Pre-training for Domain Generalization and Adaptation

どんな論文か?

これまで,転移学習における事前学習効果について十分に研究が行われていなかった.そこで本研究では,ドメイン適応と汎化のための事前学習について、ネットワークアーキテクチャ、サイズ、事前学習の損失、データセットなど、幅広い研究と詳細な分析で,最新の事前学習がドメイン転移に与える影響についての知見を得ることを目的とする.

新規性

ドメイン適応と汎化のための事前学習について詳細な分析を行った最初の研究である.

結果

得られた知見としては「ドメイン転移のための強力な事前学習に必要な要素は,ドメインに依存する」「事前学習は,対象ベンチマークや適応方法,ネットワークの深さによって有効性が異なる」「SOTAの事前学習を用いるだけで,すべてのドメイン適応手法ベースラインを上回る」が挙げられる.また,最新の事前学習の実験では、時代遅れのDA法が最新のDA法よりも良い性能を示した.

その他(なぜ通ったか?等)