#62
summarized by : yasud
NeX: Real-Time View Synthesis With Neural Basis Expansion

どんな論文か?

novel view synthesisのためのモデルで、SoTAの精度を達成しつつも1000倍早いレンダリング速度を達成した研究
placeholder

新規性

MPI(multiplane image)をベースの考え方としつつも、既存のMPIの手法では拡散面やランバート面しかモデリングできなかった。しかしそれは現実に即していないということから、ピクセルの位置に着目して色を推定することを考えた。さらにこのアイデアでリアルタイムレンダリングを達成するために、学習可能な基底関数の線型結合で上記を達成する関数を近似する。

結果

基底関数を予測するMLPとピクセルに位置に応じてピクセルごとのパラメータを予測するMLPの2つを、生成画像と正解画像を比べるロスと再構成ロスの重み付き合計で学習。PSNR,SSIM,LPIPSの全てでSoTAを達成し、CDのような、従来のMPIモデルでは難しい反射をする物体を集めた新たなデータセットShinyを提案し、それでもSoTA。

その他(なぜ通ったか?等)

SoTAを達成してしかも圧倒的に早いという点。うまく学習すべきパラメータを2つの簡単なネットワークに分離して近似をした点が、課題の本質を理解しているのだと思った。