- …
- …
#13
summarized by : Anonymous
どんな論文か？
ViTの事前学習法FDSL手法の改良。
近年ViTの事前学習には自己教師あり学習がしばしば用いられるが、大量の事前学習データセットが必要であった。moco v3をはじめとして、少量データで事前学習が可能な手法もあったがデータセットに由来する倫理的問題に対応できないという課題があった。それに対応した、片岡らの提案したFDSL手法についてさらなる改良を提案。
新規性
フラクタル図形の輪郭およびパラメータ(画像生成の際の方程式に関するもの)数の増加がFDSLの性能に寄与することを検証。
結果
図形の頂点数でフラクタル図形の複雑さを考えた場合、事前学習に最適な形状の複雑さが存在することを確認。複雑になりすぎると凡化性能は下がる。
FDSLによる事前学習は画像生成に用いる数式のパラメータ増加によりSSLによる事前学習よりも高いスコアを獲得
その他（なぜ通ったか？等）
FractralDB-21kデータセットを用いてImageNet-21kで事前学習したViTの精度を上回ることができると示したことがすごい点であると感じた。従来のFDSL法について、図形の形状、およびデータセットのクラス数を調節するパラメータの寄与を証明するための実験が初学者にもわかりやすかった。
- …
- …