- …
- …
#236
summarized by : Murakami
どんな論文か？
1枚の画像からRadiance FieldをVisual Transformerを用いた半教師学習により再構成可能なSinNeRFを提案。深度の事前情報を利用し、参照の1枚画像の視点をラベル付き集合、未知視点をラベルなし集合として学習を行う。過学習を防ぎ、かつマルチビュー一貫性を担保したNovel View Synthesisを実現。
新規性
1枚の画像だと単に深度ロスを追加するだけでは、合理的な3次元形状を生成することはできない。そこでViTを利用した複数視点での意味情報が一致するようなロスや、パッチ識別器を介したデータ効率化をしつつテクスチャを正則化するためのロスを設計している点が新規。
結果
NeRF synthetic, LLFF, DTUデータセットを用い、少数画像でNeRFの再構成に取り組む手法（DS-NeRF, PixelNeRF, DietNeRF, SinNeRF）と比較実験を行う。1枚画像からのNovel View SynthesisのタスクでSoTA。
その他（なぜ通ったか？等）
github : https://github.com/VITA-Group/SinNeRF
- …
- …