#47
summarized by : Kazuma_Asano
Pluralistic Image Completion

どんな論文か?

 タイトル通り,多様性を持たせた画像補間手法の提案. 1.従来手法より多様性のある画像補間のフレームワーク提案 2.訓練データの再構築と条件付き分布の分散の維持の間でトレードオフする2つの並列パスを持つ新しいネットワーク構造 3,短期的および長期的なコンテキスト情報を活用し,ドメインの一貫性を保つ新しいセルフアテンション層の提案 4.同じマスクからでも多様な結果を出力できることを確認
placeholder

新規性

 多様性を獲得するため,2つのパスを持つネットワークを提案.1つは,マスク部分の事前分布を取得し、この分布から元の画像を再構築するパス,もう1つは条件付き事前確率が再構成パスで取得された分布に結合されている生成パスで多様性を獲得.また,短期的および長期的なコンテキスト情報を活用し,ドメインの一貫性を保つ新しいセルフアテンション層の提案した.

結果

 Paris,CelebA-HQ,ImageNetデータセットを補間する画像として使用し, CVAE,Instance Blind,BicycleGANと比較.多様性をLPIPSで評価し,提案手法がもっとも良い数値であることを確認.

その他(なぜ通ったか?等)

 画像補間は通常,教師データがラベルごとに1つしかないため,多様性を持たせるのが難しい.そこで確率論的原理に基づくパラレルパスを持つネットワークを提案し,これを克服した.また,しっかりと論文の最後の方に数式で論理的な解析を添付している.