#343
summarized by : Masanori YANO
Deep Ensemble Learning by Diverse Knowledge Distillation for Fine-Grained Object Classification

どんな論文か?

画像分類で、知識の蒸留(Knowledge Distillation)を取り入れて複数モデルのアンサンブル学習を行う手法。
placeholder

新規性

複数モデルのアンサンブル学習で、各々のモデルをノードとしたグラフ構造を考え、ノード間で知識の蒸留を行うために必要な「確率分布」と「アテンションマップ」に関するハイパーパラメータを自動で探索する手法を提案した。

結果

Stanford DogsとStanford CarsとCaltech-USCD Birds-200-2011に加え、CIFAR-10とCIFAR-100のデータセットを使用し、ResNetとAttention Branch Networkのネットワーク構造で正解率の評価を行い、従来手法を上回る結果。

その他(なぜ通ったか?等)

CVPR 2018採択のDeep Mutual Learningが提案した「モデル2個の学習アプローチ」を踏まえて「モデル3個以上のアンサンブル学習」を構築し、かつモデル2個の場合もDeep Mutual Learningより高い性能を示したため通ったと考えられる。