- …
- …
#593
summarized by : Anonymous
どんな論文か？
ReLUよりも精度が向上する新しい活性化関数SMU，SMU-1を提案．ReLUからこれらの関数に活性化関数を置き換えることで，いくつかのタスクで精度が改善したことを提示し，実験的に提案された活性化関数の有効性を示した．
新規性
本論文では，ReLUに変わる活性化関数として，最大関数の近似にもとずく2つの新しい活性化関数を提案した．ReLUにはネットワークの学習中に最大50%のニューロング死んでしまうdying RelU，「死にゆくReLU問題」という欠点がある．それらを改善するために生まれたのがLeaky ReLuなどの活性化関数である．
結果
CIFAR100データセットにおいて、ShuffleNet V2、PreActResNet-50、ResNet-50、SeNet-50モデルでTop-1分類精度がそれぞれ6.22％、3.39％、3.51％、3.08%改善された．
添付した画像では，ReLUとSMU，SMU-1の各アーキテクチャにおける性能比較を紹介する．
その他（なぜ通ったか？等）
- …
- …