#275
summarized by : Anonymous
Direct Voxel Grid Optimization: Super-Fast Convergence for Radiance Fields Reconstruction

どんな論文か?

1台のGPU(NVIDIA RTX 2080 Ti)でも15分以内に学習が収束可能なNeRFを提案。ボクセル表現を用い、まずは粗いボクセルグリッドで密度と視点非依存の色を表現するボクセル値を最適化し、シーンの粗いジオメトリを取得。この結果から高解像度の密度と特徴量のボクセルグリッドを生成し、浅いMLPにより視点依存の効果も再現した色を出力する。この2ステップにより学習と推論を高速化。
placeholder

新規性

学習を少し高速化したNeRFはあったが(MipNeRF等)、ここまで学習時間を高速化したNeRFは初めてな点。PlenOctreeは512^3の解像度だが、提案手法は1603個のグリッド解像度で表現可能であり、メモリ面でもコンパクト。またボクセル表現を使う手法の中でも、任意の3Dにクエリする際にトリリニア補間後に非線形変換をすることで、よりシャープな表面を表現することが可能であることを実証した点。

結果

NeRF synthetic、NSVF synthetic、BlendedMVS、Tanks and Templesデータセットを用いた実験によりNeRFやmipNeRFとの比較実験を行う。NeRFの学習速度を2~3桁高速化することに成功。品質はNeRF 以上ではないが匹敵する結果。

その他(なぜ通ったか?等)

論文発表当時は学習速度の速さが衝撃的であった。 https://github.com/sunset1995/DirectVoxGO