#140
summarized by : 金城 忍
Orthogonal Over-Parameterized Training

どんな論文か?

入力に対する学習可能な重み行列を、ランダムに初期化され固定された行列と学習可能な直行行列で構成し、各層でパラメータを直交変換し、ベクトル間の直行性を維持することで汎化性能を改善する提案

新規性

層毎で直交行列を学習し、それによる変換でパラメータを表現するという点で新規

結果

MNIST, Cifar-100を使用し、MLP、CNN、ResNetをベースとして、提案手法を適用しない場合をベースラインとし提案手法を評価したところ、全てのモデルにおいてテスト誤差を改善

その他(なぜ通ったか?等)