#659
summarized by : Asato Matsumoto
DEPARA: Deep Attribution Graph for Deep Knowledge Transferability

どんな論文か?

Deep Attribution Graph(DEPARA)を用いて、taskonomyのような、学習済みモデルの他タスクへの転移性を定量的に測る手法を提案した。複数の学習済みモデルの相互関係を調べることで、新しいタスクに効率的に転移させることが可能となる。本研究ではグラフ表現を用いることで、モデルとレイヤー両方の転移性をアンラベルなデータのみで測定する方法を提案し、広範囲な実験で検証した。
placeholder

新規性

学習済みモデルの知識を表現するグラフであるDEPARAを提案した。各モデルにバッチに分けたサンプルを入力して得られた特徴量を用いてグラフ空間を構築する。ノードは勾配と入力を掛け合わせて表現したattention map、エッジは得られた特徴量のコサイン類似度を用いている。このため本手法ではラベルなしで、学習済みモデルのみでグラフ表現を構築することができる。またレイヤー毎の表現も可能である。

結果

taskonomyの画像生成タスクと同じ条件で実験を行い、taskonomyの結果と非常に近い結果を確認した。一方でラベルなしデータのみの利用、転移学習なしのため、taskonomyよりも効率的に転移性を測ることができた。また、レイヤー毎に類似と転移学習の精度を比較する実験では、DEPARAの類似度が高いほうが精度が高くなる傾向を確認した。よって、レイヤー毎の転移性確認も可能であるとわかった。

その他(なぜ通ったか?等)