#49
summarized by : 綱島 秀樹
Novel View Synthesis of Dynamic Scenes With Globally Coherent Depths From a Monocular Camera

どんな論文か?

単眼カメラで撮影した動画から訓練済みのsingle view prediction手法、multiview stereo手法により前景深度と背景深度を獲得し、自己教師あり学習を導入したネットワークにより深度をrefineして、時間、場所不変な動画のNVS (Novel View Synthesis) の品質を向上させた DSVもDMVも既存手法を使って生成 動画を見ることで結果を理解可能
placeholder

新規性

・DSVとDMVからより正しいdepthを獲得可能にするネットワークを提案した点 ・前景背景を別々に取り扱うことで品質向上に有効であることを示した点 ・NVSの品質を大幅に向上させた点

結果

Video:https://www.youtube.com/watch?v=pTCkCGr2IH0 ※ DSVとDMVは既存手法を用いて生成しているということを理解して、まずは動画を見ることで結果の理解が可能 ・先行研究と比較してGround Truth (GT) とのRMSEが最小 ・Depthも最もGTに近い推定結果

その他(なぜ通ったか?等)

動画の結果が先行研究と比較して抜きんでた結果を出していることが効いていると考えられる。また、前景背景を別々に取り扱うことが有効だと示したことも分野的貢献が大きいと考えられる。