#732
summarized by : Shuhei M Yoshida
What's Hidden in a Randomly Weighted Neural Network?

どんな論文か?

ランダムな重みを持つDNNに関する論文。Lottery Ticket Hypothesisが効率的に学習できる部分ネットワークについて議論するのに対し、本論文では初期値の段階で(つまり学習する前から)高い精度を出す部分ネットワークについて議論する。
placeholder

新規性

ランダムな重みを持つ、十分に大きなDNNには、それ以上学習しなくても高い分類精度を出す小さな部分ネットワークが存在することを実験的に示した。またそのために、ランダム初期化したDNNから高い分類精度を出す部分ネットワークを見つけるアルゴリズムを提案。

結果

CIFAR10とImageNetで実験。CIFAR10では、ランダムな部分ネットワークが、学習済みモデルと匹敵する精度を達成。一方、ImageNetでもWide ResNet50の部分ネットワークが、ResNet34よりも小さいサイズでありながら同等の精度を出せることを示した。

その他(なぜ通ったか?等)