#222
summarized by : Anonymous
ActiveNeRF: Learning Where to See with Uncertainty Estimation

どんな論文か?

NeRFは入力画像の視点方向に偏りがあると3D表現を生成できないという問題がある.そこで,Active Learningという,モデルが自身に有益なサンプルを優先して選択する技術とNeRFを統合したActiveNeRFを提案.様々な視点からの画像を自動で選択することが可能となり,3D表現をより効率的に生成可能となる.
placeholder

新規性

ALとNeRFを組み合わせることで,入力画像を自動選択することに挑戦した初めての研究.既存の訓練セットで学習したNeRFに対し,追加候補となる画像の光線による影響を推定することで,追加するべき画像を選択可能.時間や計算資源を無視する場合,新しい画像が追加されるたびにモデルをチューニングする継続学習を行うことが可能

結果

視点画像を20枚選択した場合,10枚選択した場合のそれぞれについて,通常のNeRFと比較した結果,継続学習するActiveNeRFは他と同等の時間でより高精度だった.また,ベイズ推定を用いた場合のActiveNeRFは他の1/4程度の時間で学習できるが,精度は大きく変わらなかった.ただし,すべての視点を用いて同じ時間だけ通常のNeRFを学習させると,ActiveNeRFの精度を上回っている.

その他(なぜ通ったか?等)

少量データで3D表現を生成可能なNeRFや,DietNeRFといった手法が登場しているので,これらとの比較が欲しかった.また,これらと組み合わせた場合の考察が欲しかった. 一貫して何をコンセプトとした上でALをNeRFと組み合わせたかが不鮮明だった.誰でもNeRF用のデータセットを作れるようにすることをコンセプトとしたALであれば役に立つ場面があるのではないかと考える.