- …
- …
#62
summarized by : yasud
新規性
MPI(multiplane image)をベースの考え方としつつも、既存のMPIの手法では拡散面やランバート面しかモデリングできなかった。しかしそれは現実に即していないということから、ピクセルの位置に着目して色を推定することを考えた。さらにこのアイデアでリアルタイムレンダリングを達成するために、学習可能な基底関数の線型結合で上記を達成する関数を近似する。
結果
基底関数を予測するMLPとピクセルに位置に応じてピクセルごとのパラメータを予測するMLPの2つを、生成画像と正解画像を比べるロスと再構成ロスの重み付き合計で学習。PSNR,SSIM,LPIPSの全てでSoTAを達成し、CDのような、従来のMPIモデルでは難しい反射をする物体を集めた新たなデータセットShinyを提案し、それでもSoTA。
その他(なぜ通ったか?等)
SoTAを達成してしかも圧倒的に早いという点。うまく学習すべきパラメータを2つの簡単なネットワークに分離して近似をした点が、課題の本質を理解しているのだと思った。
- …
- …