#892
summarized by : Shuhei M Yoshida
Learning to Forget for Meta-Learning

どんな論文か?

本論文では、メタ学習、中でもMAMLと呼ばれる手法を改良する。MAMLはタスク分布からサンプルしてきたタスクに共通する「良い重み初期値」を探索する手法である。しかし、全パラメータについて全タスクに共通する良い初期値が存在するとは限らない。本論文は、このようなタスク間の「衝突 (conflict)」が最適化を困難にすることを指摘、これを改善する手法 Learning to Forget を提案する。
placeholder

新規性

タスク間で共通の良い初期値が見つからない衝突を定量化する指標を提案。この指標を元に、タスク毎・レイヤー毎に衝突が起きているパラメータを適応的に減衰させることで、衝突による最適化の困難を回避する。

結果

Few-shot分類のベンチマークminiImageNetとtieredImageNetにおいて、MAMLを常に上回る精度を達成。この他、回帰や強化学習でも、Learning to Forgetが有効であることを検証した。

その他(なぜ通ったか?等)