#460
summarized by : NSD
Efficient Multi-Domain Learning by Covariance Normalization

どんな論文か?

マルチドメイン学習(MDL)をより効率よくしたいという論文。 MDLでは、ネットワークごとのパラメータと合計のパラメータの比率を最小限に抑えながらパフォーマンスを最大化することを目的とする。 CovNorm(共分散正規化)という手法を用いて調整パラメータを減らしている。 単純な実装ながら、バッチ正規化や幾何学的行列近似などの以前の手法を超える精度が出ているという論文。
placeholder

新規性

MDLで、調整パラメータを減らすためにCovNorm(共分散正規化)という新しい手順を用いている。 この手法を行うことで、調整パラメータを従来の0.5%に抑えることを実現している。

結果

ネットワークごとのパラメータを全てのパラメータの0.53%まで低減しながら、ネットワークパラメータをフルで調整するよりも精度が出た。

その他(なぜ通ったか?等)