- …
- …
#609
summarized by : Akihiro FUJII
どんな論文か？
知識蒸留において、教師モデルの層ごとの決定過程を模倣させることで決定木のような蒸留を行う研究。層ごとに何を行っているかが可視化させるため、説明性が高い蒸留手法になっている。
新規性
上流において、教師モデルの層ごとの決定過程を模倣させる蒸留を提案。例えば、CIFAR10において、浅い層において、10値分類では34%の精度だが、動物と車の２グループ分類だと80%の精度になる、などを模倣させる。
結果
CIFAR10, CIFAR100, tiny-ImageNetで既存じょの蒸留手法より優れていることを示した。また、モデルの決定過程を可視化している。
その他（なぜ通ったか？等）
- …
- …