- …
- …
#60
summarized by : Shoma Iwai
どんな論文か？
StyleGANを改造し，指定した色ヒストグラム通りの画像を生成可能にした．StyleGANの最後の２ブロックにはStyleCodeの代わりにターゲットの色ヒストグラムから抽出した特徴量を入力する．色を近づけるために，出力画像のヒストグラムをターゲットヒストグラムに近づけるようなロスを導入している．さらに，U-Netライクなエンコーダを追加することで，現実の画像の色を自由に変化させることも可能．
新規性
- 色ヒストグラムをターゲットとして入力することで，色に特化した生成画像の操作が可能になった．
- 提案手法はスタイル変換の一種であるが，既存手法のように画像をターゲットとして入力する必要がないため，ターゲット画像のドメインが限定されないというメリットがある．
- 画像から色ヒストグラムを得る処理が微分可能であり，色ヒストグラムを直接最適化することができる．
- 実在する画像の色変換にも応用可能．
結果
- 通常のStyleGANと提案手法のFIDを比較し，提案手法によって生成画像の品質や多様性が下がらないことを確認した．
- 実画像の色変換タスクでは，既存手法よりも自然かつターゲットに忠実な変換ができることを確認した．
- カラー画像の変換だけでなく，白黒画像のカラー化にも応用可能であることを示した．
その他（なぜ通ったか？等）
github: https://github.com/mahmoudnafifi/HistoGAN
- …
- …