#237
summarized by : 金城 忍
How Does Topology Influence Gradient Propagation and Model Performance of Deep Networks With DenseNet-Type Skip Connections?

どんな論文か?

ネットワークの深さ、幅及びスキップコネクションが実現可能なニューロンの最大数を変数に、スキップコネクションに対して密度を定義 (可能な接続に対する実際に発生した接続との比) し、勾配伝播に対するスキップコネクションが及びす影響を解析し、それとネットワークの性能との関係性を分析

新規性

スキップコネクションに対する実験的に定量評価を実施したという点で新規

結果

MNISTを使用したMLP及びCNNでの評価では、モデルの性能は深さ及びパラメータ数より、定義した指標に対してより関連性がある結果となり、各層のヤコブ行列の固有値も指標に対してより相関があることが示され、またCifar-{10, 100}、ImageNetを使用した{Wide-}ResNet、MobileNet、DenseNetを使用した評価においても同様の傾向が確認された。

その他(なぜ通ったか?等)