#1046
summarized by : Masanori YANO
Dynamic Convolution: Attention Over Convolution Kernels

どんな論文か?

アテンションの重み付き平均を計算することで、畳み込みカーネルの値を動的に変化させる手法。
placeholder

新規性

複数の畳み込みカーネルに対し、アテンションの重み付き平均で得られた値を、畳み込みカーネルの重み及びバイアスとして使用するDynamic Convolutionを提案した。なお、同様のアプローチでNeurIPS 2019採択の「CondConv」より効率的で高性能と主張し、アテンションを求める温度付きソフトマックス関数の温度パラメータを学習時に減少させていく部分が異なる。

結果

ImageNetによる画像分類及びCOCOによる姿勢推定で評価し、MobileNetV2、MobileNetV3及び階層の浅いResNetいずれも精度が向上する結果。

その他(なぜ通ったか?等)

パラメータ数は増加するものの、計算コストの増加を抑えつつ精度が向上することを実験で示したため通ったと考えられる。なお、似た名称のDynamic Convolutions論文「Dynamic Convolutions: Exploiting Spatial Sparsity for Faster Inference」が、CVPR 2020のPosterで採択されている。