#78
summarized by : Naoki Wada
ILVR: Conditioning Method for Denoising Diffusion Probabilistic Models

どんな論文か?

Diffusion modelの学習済みモデルを用いて、画風変換や画像編集などの条件付きの生成を可能にした。従来のGuided diffusion のようにクラスなどの条件を指定した生成を行うには学習時に条件をEnbbeding vectorなどにしてモデルに入力する必要があったが、生成時の各iterationでreference imageを取り込むことで条件付き生成を可能にした。
placeholder

新規性

画風変換や画像編集などの条件付き生成を、通常の条件なしの学習済みモデルを用いて可能にしたこと。手法自体も各iterationで生成途中の画像にlow pass filterを通したreference imageを混ぜるだけとシンプル。

結果

犬→猫や実→絵画などさまざまな画風変換で遜色ないfidを達成。画像編集に対しても同様

その他(なぜ通ったか?等)

Diffusion modelが複数のiterationを必要とするのは計算コストが大きいのでデメリットだと思っていたがこの論文はそこを利用していて、すごいと思った。