- …
- …
#218
summarized by : Akihiro FUJII
どんな論文か？
事前学習の転移学習性能に対するWinning Ticket(宝くじ仮説における、大規模ネットワークに存在する精度に支配的な小規模な有用なサブネットワーク)の有効性を検証した研究。事前学習を教師あり、教師なしどちらで実施するに関わらずWinning Ticketは存在するという結果。
新規性
教師あり、教師あり(自己教師あり学習)による事前学習で、winning ticketが存在するかを確かめたところが貢献。結果、winning ticketは存在した。
結果
物体検知、画像分類、セグメンテーションでwinning ticketの転移が成功した。つまりスパースなwinning ticketのサブネットワークが存在する。
より大きなモデルのwinning ticketの方が有効であったとのこと。また、事前学習手法が異なると、サブネットワークの構造やその摂動に対する敏感性が変化する
その他（なぜ通ったか？等）
https:
//github.com/VITA-Group/CV_LTH_Pre-training
- …
- …