#318
summarized by : QIUYUE
Scene Graph Expansion for Semantics-Guided Image Outpainting

どんな論文か?

既存の画像Outpaintingでは物体検出レベルまで画像を認識しOutpaintingを行っている。ここで、シーングラフレベルのセマンティック情報によりImage Outpaintingを行うことを提案。提案手法ではScene Graph構造をノード(物体)とエッジ(物体間の関係)の2つのレベルでTransformer構造により学習する。
placeholder

新規性

まず、Outpaintingを行う研究があまり多くなかった。ここで最近のTransformer構造をOutpaintingタスクに導入した。また、Outpaintingをシーングラフという高いセマンティックレベルで画像を解析し行っているところが新しい。また、シーングラフ拡張、シーングラフからレイアウト推定、レイアウトから画像生成の3つのステップで画像をOutpaintingする新規手法を提案。

結果

MS-COCOとVisual Genomeの2つのデータセットで提案のScene Graph Transformerが既存のImage Outpaintingより高い性能を達成した。

その他(なぜ通ったか?等)

最近のデータセットとテクニクスを使って、Outpaintingで良い性能は出せそうな感じ。