- …
- …
#208
summarized by : Hideki Tsunashima
どんな論文か？
プライバシーの問題やデータセットが大きすぎるなどの問題でデータを用意することができない場合がある。
異なるデータセットにおいて訓練されたクラス識別器(Heterogeneous Classifiers(HCs))を蒸留して1つの識別器にクラス情報を集約する手法を提案。実現方法にはクロスエントロピー最小化の手法と行列の因数分解を用いる手法の2種類を提案している。
新規性
今までは同じクラスにおいて訓練された教師と生徒を蒸留には用いて来たが、この論文ではクラスが異なっている教師を複数用いて教師が訓練した全てのクラス情報を集約する生徒識別器を訓練するという挑戦的な課題を解決したことが新規性。
結果
全てのクラスの画像がある状態で訓練されたクラス識別器に対して、蒸留された生徒識別器は同等とまではいかないが、匹敵する精度を叩き出した。図を参照
その他（なぜ通ったか？等）
新規性でも述べた通り、今まではデータセットが完全に整備されている状態においての蒸留のみが提案されてきたが、この論文ではより実環境に近いデータセットがバラバラかつデータセットが完全に揃わない場合の問題解決を提案しており、実応用の点においてとても重要な文献となりうることが容易に想像できるため通ったと考えられる。
- …
- …