- …
- …
#38
summarized by : 佐藤凜太郎
どんな論文か？
NeRFは優れたレンダリング・三次元復元性能を出しているものの，大規模なシーンは扱えていない．そこで，本研究では，NeRFにTSDFfusion同様のパイプラインを活用した手法を提案する．具体的には，各フレームで抽出した特徴量であるローカルボリュームを，リカレントニューラルネット（GRU）を用いてグローバルボリュームに逐次的に融合させる手法を提案する．
新規性
MLPによる限られた表現力や長い学習時間の観点で，NeRFを用いた大規模なシーンの復元は従来的には難しかったが，TSDFでデプスマップを融合する手法と似た形をNeRFにも適用することで，大規模なシーンの復元を可能とした．また，ファインチューニングと閾値より密度の低い点を枝刈りすることで，従来のNeRFより短い時間で高精度な未知視点のレンダリング画像を生成した．
結果
大規模シーンのデータセットであるScanNetでState-of-the-artの精度を達成．小規模シーンのデータセットであるNeRF SyntheticやDTUにおいても，ファインチューニングをすることで他手法と匹敵もしくは凌駕する精度を達成．
その他（なぜ通ったか？等）
Instant-NGPなどのNeRFの高速化手法と比べると速度的には遅い気がする．
密度の低い点を枝刈りするテクニックは，メモリ効率の観点で今後も用いられそう．
https://jetd1.github.io/NeRFusion-Web/
- …
- …