#302
summarized by : Rei Tamaru
Your Local GAN: Designing Two Dimensional Local Attention Mechanisms for Generative Models

どんな論文か?

画像のgeometryとlocalityな特徴を保存するGANのlocal sparse attention layerを提案。さらに、information flow graphsを用いた新しい情報理論の評価によってattention層を提案。
placeholder

新規性

local sparse attention layerを提案し、従来のsparse attention layersが1次元のみに最適化していた問題を解決。また実験的に、通常の勾配降下法では上手く行かないinversion problemを解決。これらにより計算能力の向上と、画像のlocalityの重要性を加味して学習サンプルが大量に必要な問題を解決することに成功。

結果

従来のGANと比べてattention layerを変えるだけでスコアが上昇し、2つのdimensionalな帰納的バイアスが関係あることがわかった。また、収束率の高さから学習時間が40%短縮された。 実験的に、通常の勾配降下法では上手く行かないinversion problemを解決することができた。

その他(なぜ通ったか?等)