#114
summarized by : Masanori YANO
Image Harmonization With Transformer

どんな論文か?

前景のマスク情報と全体の画像を入力して、前景を背景と調和させた画像を出力するタスクで、Transformerを取り入れた手法。
placeholder

新規性

CNNのエンコーダとデコーダの中間でTransformerの変換を行って調和させた画像を出力するネットワーク構造を提案した。加えて、画像の品質向上のため、照明に関する特徴抽出をTransformerで行い、TransformerとCNNのデコーダで擬似的な照明に関する画像を生成している。

結果

iHarmony4データセットで定量的及び定性的な評価を行い、DoveNetを含む従来手法を上回る結果。また、画像の修復(Inpainting)及び補正(Enhancement)のタスクでも評価を行い、双方で従来手法を上回る結果。

その他(なぜ通ったか?等)

CVPR 2021採択の「Intrinsic Image Harmonization」と同じFirst Authorの論文で、CVPR 2020採択のDoveNetを上回る結果を示したため通ったと考えられる。PyTorch実装( https://github.com/zhenglab/HarmonyTransformer )が公開されている。