- …
- …
#462
summarized by : yamada ryosuke
どんな論文か？
incremental learningにおいて問題視されているCatastrophic Forgetting(破滅的忘却)に対して知識蒸留が有効であることを実験的に示した．さらに，追加データを学習することでネットワークのFC層の重みの偏りを補正するためのWeight Aligningを提案した．Weight Aligningを用いることで新旧データのクラスを公平に識別可能となる．
新規性
class incremental learningにおいて知識蒸留の有用性を実験的に示した．さらに，知識蒸留とWeight Aligningを組み合わせることでクラス間の識別の公平性を担保した．
結果
CIFAR100において20クラスずつを全5ステップで追加して検証した．ネットワーク学習においてクロスエントロピーを損失関数とした場合と比較して，提案手法は+ 15.9%も精度向上した（最終ステップにおいて）．また，混合行列で予測を可視化した際，提案手法は最後に追加したクラスに偏らないことも確認した．
その他（なぜ通ったか？等）
知識蒸留とWeight Aligningを組み合わせることでCatastrophic Forgettingに対する解決策を見出だし，クラス間を公平に識別可能にするWeight Aligningを提案したこと．クラス間のバイアスを補正する着目が良い．
- …
- …