- …
- …
#165
summarized by : Norikatsu Sumi
どんな論文か？
単一画像からのNovel-view synthesisタスクにおいて．Panoptic Mask, 3D bounding boxを含んだ単一視点の画像のデータセットのみを用いて，NeRFの学習を実現．
画像の質（コントラスト．ノイズ）が良くない実画像の車（nuScenes）データでも，高い汎化性を発揮することを示した．
新規性
(1)shape, appearanceを制御するencoder, decoderを別々で用いて，Shape DecoderをNOCSで表現するように定義．
(2)物体のMaskを考慮したOccpancyのLossを定義．
(3)test時にappearance codeのみを最適化しなおすことで，汎化性能を向上．
結果
実画像データではnuScenes(KITTI, Mapillary Metropilis), Synthetic画像データではSRN-Cars datasetを使って評価した結果．どちらのケースにおいても，既存手法のpixelNeRF, CodeNeRFをPSNR, SSIM, LPIPSで上回る性能を確認．ただし，FIDはtest timeの最適化で，少し悪化．
その他（なぜ通ったか？等）
https://sirwyver.github.io/AutoRF/
通常のNeRFで用いられるような多視点画像データを用いずに，NeRFを学習させることを実現しているため，驚きである．
現在は，自動運転系のデータセットだけで検証しているが，RGBD画像の物体認識データセットにも似たような事ができると考えられる．
- …
- …