Sg-MMHでは3つ以上の画像を同時に合成できる＆出力された結果をユーザーがさらに編集できる。合成の際には、各ピクセルを個別に生成する従来の手法とは異なり、あらかじめ用意されたいくつかの画像処理ソフトウェアでの操作をシミュレートするマスクを生成している。このマスクは操作の位置と強さを表しており、定量・定性的にマスクが行っている操作の説明・解釈を得られ、また人がそれを編集することができる。

「一つの背景画像に他の画像から複数の前景が貼り付けられた状況」を模擬する2つのデータセット (HScene, HLIP) を開発し、従来手法と結果を比較。すべての評価指標において改善を示した。

コードはこちら → https://github.com/xuqianren/semantic-guided-multi-mask-image-harmonization