- …
- …
#567
summarized by : Anonymous
どんな論文か？
NeRFのリアルタイムレンダリングを実現したPlenOctreesを動的シーンへ拡張した研究。まず疎な画像群から球面調和係数と密度を保存した粗いPlenOctreeを生成し、密な画像群を用いてfine-tuningする。時刻数分生成したPlenOctreeからDFTを行い、1つのFourier PlenOctreeを生成。レンダリングの際にIDFTをすることで各時刻の球面調和係数と密度に変換する。
新規性
NeRFにおいて、「リアルタイムでのレンダリング」、「動的シーンに拡張」のいずれかを実現した研究はあったが、この両者を実現した研究である点。全ての入力画像を使ってPlenOtcreeを生成するのではなく、coarse-to-fineにPlenOctreeを生成することで、ベースとなる手法よりも短い時間で各フレームのPlenOctreeを生成できる点。
結果
既存のNeRFベースの手法で動的シーンに拡張した手法と比較。全ての手法で最も品質が高い結果であり、1枚のNVIDIA GeForce RTX3090 GPUを用いて約100FPSというリアルタイムレンダリングを実現。学習とFine-tuningに要する時間においても2番目の速さ。
その他（なぜ通ったか？等）
動的シーンにおけるNeRFのリアルタイムレンダリングを実現した初めての研究であったから通ったのでは。ただフーリエ変換によりメモリは抑えているものの、60フレームの表現をするのに7GBと少し重い。1つの八分木で表現しているため空間を動き回るシーンには適していない。
- …
- …