- …
- …
#106
summarized by : Shunsuke Yoshizawa
どんな論文か？
モデルのcompressionに対して、各レイヤの圧縮量に対する情報の喪失量を事前に見積もり、レイヤごとにcompressionの度合いを決定する手法を提案した論文。compressionにはpruningとtensor decompositionを組み合わせた手法を使用している。
新規性
従来はトライアンドエラーによってcompressionの度合いを決めていたが、そこにアルゴリズムを用いて計算量の削減手法を定式化した点。
結果
VGGとResnetに対して従来の削減手法と比べて、高い精度を維持したままより多くの計算量を削減することに成功した。Resnetに関してはレイヤごとの削減量にも着目しており、bottle neckの1層目は比較的情報量が削減されていないことも明らかとなった。
その他（なぜ通ったか？等）
従来では指針のなかったpruningに対して定式化を試みた点。また、Resnetのpruningの大小に関してもBottle neckの中では共通して1層目が少ないという事実も示唆深いと感じた。
- …
- …