#133
summarized by : Anonymous
InstaFormer: Instance-Aware Image-to-Image Translation With Transformer

どんな論文か?

マルチモーダルな変換タスクは,様々なオブジェクトインスタンスが含まれる事実を考慮していない,また,CNNベースのインスタンスを考慮した画像変換も限界がある,と主張.Transformerを利用した画像変換アーキテクチャ(InstaFormer)を提案し,画像内のグローバル,インスタンスレベルの情報を効果的に統合.自己注意機構とインスタンスレベルの特徴を加えたトークンにより,画像間の相互作用を学習.
placeholder

新規性

オブジェクトインスタンスに配慮した画像変換のためのTransformerベースの新しいネットワークアーキテクチャの提案.自己注意機構とインスタンスレベルの特徴を加えたトークンにより,画像間の相互作用を学習し,効果的にグローバルレベルとインスタンスレベルの情報を統合.

結果

変換画像の多様性の観点で,IS,CISスコアは最新手法を凌駕する結果を示す.また,変換画像の品質の観点で,FID,SSIMスコアもほぼすべての比較において優れた結果を示す.また,ユーザ調査でもInstaFormerが最も良い評価を得た.

その他(なぜ通ったか?等)