#74
summarized by : Anonymous
DM-GAN: Dynamic Memory Generative Adversarial Networks for Text-To-Image Synthesis

どんな論文か?

動的記憶モジュールを導入することで初期画像生成の補正が可能となる、動的記憶生成型敵対ネットワーク(Dynamic Memory Generative Adversarial Network; DM-GAN)の手法を提案。
placeholder

新規性

テキストからの初期画像がうまく生成されない場合でも、動的記憶で画像の補正を実現。 初期画像に基づいた重要なテキストを選択するようにメモリ書き込みゲートを設計、テキストの説明から画像を正確に生成することが可能となった。

結果

Caltech-UCSD Birds 200(CUB)、Microsoft Common Objects in Context(COCO) の2つのデータセットで評価を実施。Inception ScoreでCUBで4.75±0.07、COCOで30.49±0.57となり、state of the artよりも優れていることを示した。

その他(なぜ通ったか?等)

初期画像の誤った色と曖昧な輪郭には有効だが、最終的な出力画像は初期画像内の複数の被写体に大きく依存する。