#586
summarized by : Yukitaka Tsuchiya
4D Visualization of Dynamic Events From Unconstrained Multi-View Videos

どんな論文か?

離散的な視点から撮影した複数の映像から時空間を連続的に移動することができる仮想カメラによる映像の可視化.従来のSfMを用いる手法では動的部分の再構成ができないが,提案手法では動的部分の再構成を可能にし,静的部分の精度も向上した.再構成だけでなく,マスクを用いて動的物体を消すmanipulationが可能.
placeholder

新規性

制約のない複数映像からの自然の動的な動きを時間方向と空間両方において可視化するというタスクの提案. 静的な背景と動的な前景の融合を学習する.N-1個のカメラの映像から1個のカメラ映像の再構成を学習により,マッピングの学習を行う.再構成ロス,敵対的ロスに加えて,周波数ロスを用いることで前傾と背景の曖昧さが生じないような制約をかけている.

結果

単純な最近傍ベースの手法,SfMを用いた手法などのベースラインとMSE,PSNR,SSIM,LPIPS,FIDの評価指標を用いて評価した.全ての評価尺度において提案手法が優れていることが示された.

その他(なぜ通ったか?等)