Neural Radiance Fieldにステレオマッチングのアイデアを導入し、順伝搬モデルを学習したこと。提案手法を用いて、未知のシーンに対しても頑健に視点合成できることを確認したこと

NNの順伝搬により高品質な視点合成をすぐに生成できる。さらに、fine-tuningすることにより従来手法(NeRF)に比べ早い時間でさらに高品質な視点合成画像を取得できる。具体的なシーンと視点合成結果についての定性的な評価の他、PSNR, SSIM, LPIPSを使った定量評価も実施。

https://virtualhumans.mpi-inf.mpg.de/ ステレオマッチングは実際に対応づけを行うのではなく類似度行列を使うことで学習をend-to-endにしたのがポイント。 教師信号はPair-wiseに作っていて、画像枚数の増加に対して組み合わせ爆発するのでこれはスケーラビリティの課題となりうるのではないか。