#929
summarized by : 日坂 幸次
What Deep CNNs Benefit From Global Covariance Pooling: An Optimization Perspective

どんな論文か?

最近の研究では、大域的共分散プーリング(GCP)が深層畳み込みニューラルネットワーク(CNN)の視覚分類タスクにおける性能を向上させることが実証されている。 しかし、GCPが深層CNNに有効である理由については、これまであまり研究されてこなかった。 本論文では、深層CNNがGCPによってどのような恩恵を受けるのかを、最適化の観点から理解することを試みている。
placeholder

新規性

深層CNNに対するGCPの効果を、最適化損失のリップシッツ度と勾配の予測性の観点から探り、GCPによって最適化のランドスケープがより滑らかになり、勾配の予測性がより高くなることがわかった。

結果

多様な課題に対して様々なディープCNNモデルを用いた大規模な実験を行い、その結果は我々の知見を強く支持するものである。

その他(なぜ通ったか?等)

Global Covariance Pooling