#390
summarized by : Murakami
GeoAug: Data Augmentation for Few-Shot NeRF with Geometry Constraints

どんな論文か?

学習データセットのカメラポーズにノイズを加えた近傍のポーズからレンダリングした画像を、NeRFを学習することで得られた深度画像用いてノイズを加えていないカメラポーズにワーピングし、新たにRGBロスを取ることで幾何学的制約を加えるGeoAugを提案。実質的に学習データを拡張したことに相当するため、NeRFを少数の画像で学習させた場合に生じるover-fittingを逓減することに成功。
placeholder

新規性

深度マップを用いて画像を別のカメラポーズにワーピング処理を施すことが新規性。また学習データを拡張するというアイデア自体も新規性だと思われる。既存のfew-shot NeRFは大規模データセットで事前学習させるアプローチが多いが、追加のデータセットなしに学習できることが強み。

結果

NeRF Realデータセット、DTUデータセットを用いて少数画像で学習を行い、NeRFや深度情報で最適化するDS-NeRFと比較し、提案手法をDS-NeRFと組み合わせることで良好な結果。

その他(なぜ通ったか?等)

正解のカメラポーズを用いて学習を行っているが、少数画像の場合COLMAPで正確なカメラポーズを推定することができないため、カメラポーズがキャリブレートされていない実世界で得られたデータセットには適用できないと思われる。