#208
summarized by : 中村真裕
Dataless Model Selection With the Deep Frame Potential

どんな論文か?

ディープニューラルネットワークが他の機械学習の手法より優れているとされているがその理由について明確な答えが出ていない。また、ディープニューラルネットワークはそうでないものより複雑であるため過学習が起きてないか検証が難しいことを課題として指摘し、モデル選びとしてDeep Frame Potentialに目を向けることの意義を提唱している。
placeholder

新規性

ディープラーニングとスパース表現の理論的な結びつきに基づいてDeep Frame Potentialを提言している。これは表現の安定性と比較的関連のある一貫した基準のことでありネットワークの構造のみに依存する極小詞を伴う。ResNetやDenseNetのような深いネットワーク構造での「スキップ」について検証、Deep Frame Potentialの小ささをモデル選びの基準として提唱している。

結果

ニューラルネットワークにおけるネットワーク構造の中で「スキップ」を挟んだ方がバリデーションにおけるdeep frame potentialは発生しにくくなりエラーの減少ともリンクしている。それは、ネットワークが深いものであったりパラメーターの数が多くても同様の傾向が期待できる。

その他(なぜ通ったか?等)