- …
- …
#171
summarized by : Anonymous
どんな論文か？
一枚のRGB画像を入力とし，新たな他視点の画像（道に沿って歩いたような複数枚の画像）を生成するEnd2Endネットワーク，SynSinを提案．提案手法では画像特徴マップとデプス特徴マップを推測し，視点P(入力画像視点)の点群を生成する．この点群は微分可能なレンダラーであり，これを用いて視点T（ターゲット視点）でのレンダリング特徴マップを生成，これを生成モデルに入力して画像を生成する．
新規性
本論文ではリアル画像のシーンに対し新規視点画像をEnd2Endで生成している．従来の同様のタスクより複雑なリアルシーンに対して適応している．また，本研究ではGround truthのデプス画像なしで学習可能であり，様々なシーンに適応可能であることを示した．
結果
Matterport，RealEstate10K，Replicaデータセットを用いて，従来手法のStereoMagと提案手法を比較している．評価として出力画像とGround Truthの画像類似度を示すPSNR，SSIM，Perc Simで比較し，入力画像中で見えている領域，見えてない新規視点の領域をそれぞれ評価したところ，提案手法が最も出力結果が良いことを示した．
その他（なぜ通ったか？等）
本論文のFacebookResearchのGithub(リンク先に出力GIF画像あり):https://github.com/facebookresearch/synsin
- …
- …