#214
summarized by : 古川 遼
Semantic View Synthesis

どんな論文か?

GAN において disentangle を促すために、生成器の入力に関する出力の Hessian 行列が対角行列になることを促す正則化項 Hessian penalty を導入。短いコードで、様々な生成器に適用可能。いくつかのデータセットで ProGAN を用いて disentagle できること、訓練済み BigGAN の潜在変数のいくつかの解釈可能な方向を教師なしで特定できることを示した。
placeholder

新規性

GAN における disentagle を促すために、Hessian 行列の対角行列に近づけるような正則化を導入した点。実装が比較簡単で適用範囲が広い点。また、Hessian penalty を用いて訓練済み生成器の潜在変数の解釈可能な方向を教師なしで特定する方法を提案した点。

結果

Edges+Shoes や CLEVR データセットにおいて ProGAN を Hessian penalty 用いて訓練 (or finetune) し、disentagle されることを定性的に確認。PPLを用いた disentangle の定量的評価で有効性を確認。Hessian penalty を用いて、訓練済み BigGAN の潜在変数の解釈可能な方向を教師なしで獲得できることを示した。

その他(なぜ通ったか?等)

Hessian penalty は弱い prior であるため完全な disentangle は期待できないこと・Hessian penalty を用いて finetune すると画像の質が落ちることがあること・Hessian penalty をネットワークの浅い層のみに適用すると退化した生成結果となることがある、といった手法の限界についてもコメントされている。