- …
- …
#348
summarized by : Anonymous
どんな論文か？
インターネット上で取得可能な観光地の画像群から、任意の時刻下における現実的なNeRFを復元するHa-NeRFを提案。CNNを用いた外観エンコーダを用いて時間的に変化する外観を処理し、新しいビューに変換するための外観の幻覚化モジュールを設計。さらに静止した被写体を正確に分離することができる画像依存の2次元視認性マスクを学習することで、未学習の画像の外観を柔軟に表現可能な手法。
新規性
既存手法(NeRF in the Wild)では様々な条件下でのレンダリングを可能にするために制御可能な外観を埋めんだNeRFを提案していたが、未見の外観にレンダリングすることはできない。
一方で提案手法では観光画像の複雑なオクルージョンを考慮して、アンチオクルージョンモジュールを導入し、視認性のために静的な被写体を正確に分解することで、この課題に対処。
結果
合成データと現実の観光写真を用いた実験の結果、本手法が所望の外観を幻視し、異なるビューからオクルージョンのない画像をレンダリングできることを実証。
その他（なぜ通ったか？等）
https://rover-xingyu.github.io/Ha-NeRF/.
- …
- …