- …
- …
#198
summarized by : Anonymous
どんな論文か？
3次元空間の幾何学的形状と外観の両方を映像とほぼ同じ速度で高品質に推定するために効率的に表現できるVDBグリッドを用いた特徴量を使用
また、VBA(Volumetric Bundle Adjustment)の効率を向上させる新しい最適化技術を導入し、VBAでnVDB(VDB+浅いMLP)を最適化することで写真の一貫性の実現した手法
新規性
VDBグリッドにシーンの特徴量を格納することで物体が存在する領域を効率よく学習しレンダリングできる
VDBから得られる特徴量を浅いMLPに入力し、深度マップ,RGB画像を生成しGTとの差の最小化するようにVBAで学習する
VBAをLM法(Levenberg-Marquadt Method)のようなアプローチに基づき、目的関数の曲率を利用することで高速収束を実現している
結果
初期カメラポーズと深度マップはMiDASを使用して推測してしたものを入力とする
NeRF手法であるNeRF,NSVF,MVSNeRFと比較して高品質
以下推測の比較
RGB-D再構成システムのKinectFusion,Colomap optimization,PolycamAIと比較して高品質な画像を生成
単眼再構成システムのMVDepthNet、ATLAS,NeuralReconと比較して高品質
その他（なぜ通ったか？等）
SLAM系を利用して初期カメラポーズと深度マップを推測したものを利用して高品質画像を生成できている点,カメラポーズとシーンを学習している点やIPhoneのARKitなどで撮影した画像なども使えるのがお手軽でおもしろいと感じる
- …
- …