- …
- …
#410
summarized by : 角田良太朗
どんな論文か？
3D Photoとフレーム補間を組み合わせた3D videoを提案。隣接２フレーム双方にdepth推定を行いlayered-depth-imageに持ち上げた後、画素対応をscene flowとして求め、point cloudに持ち上げた上で、時間方向に両フレームの加重平均を取ってレンダリングしてフレーム補間を実現する。
新規性
課題設定自体が新しい。LDI表現を簡易的にdepthのクラスタリングで代用して高速化したり、opticalでなくscene-flowを採用することでocclusionのflow補間を容易にしている他、depth/flowのミスを除去するためLDIを一度encoderに通して特徴量をレンダリングしてからdecodeしたりと細かい点でも試行錯誤がみられる。学習データも選定がうまい。
結果
先行研究が存在しないため、3d-photoとフレーム補完を別々にかけた場合とで比較。PSNR/SSIM/LPIPSによる定量評価および定性評価で優位性を確認。
その他（なぜ通ったか？等）
3DPhotoと異な理、レンダリングにメッシュでなくPointCloudを使っている模様。レンダリング結果がスカスカになる危険があるが、3D点をdepth値に応じて半径を変えることで回避しているのが単純ながら工夫として面白い。公開実装を動かしてみたが、数分単位かかるものの想像よりは実行時間は早い印象を受けた。
https://3d-moments.github.io/
- …
- …