#805
summarized by : Asato Matsumoto
Deep Active Learning for Biased Datasets via Fisher Kernel Self-Supervision

どんな論文か?

偏りのあるデータにも適したActive Learning (AL)の手法を提案した。従来、ALでは重要なデータのみにラベル付けし作業量の最小化するが、アンバランスデータには適していなかった。そこで自己教師付きフィッシャーカーネル(FK)を用いた疑似ラベル付与法を提案した。実験ではクラスアンバランスなデータに対して、本手法が既存手法の40%のラベル付けで済むことを示した。
placeholder

新規性

本手法は収集に偏りのあるラベルの付いていない訓練データから、モデルを学習させる上で最も効果が高いと考えられるデータを選択するアプローチをとっている。最適な選択をする関数は、ラベルなし訓練データと検証データとの間の分布シフト(Kullback–Leibler)の最小化と定式化できる。各層の出力とそのフィッシャー行列の積から特徴マッチングを行い、重要なデータとその疑似ラベルを取得する。

結果

クラスバランスを調整したMNIST, SVHN, ImageNetの分類実験で評価を行った。提案したFKベースの手法は、従来手法の1/10の処理量で高い精度を発揮した。また、ラベリング量は従来手法の40%で十分であることが実験的に明らかになった。

その他(なぜ通ったか?等)