- …
- …
#689
summarized by : Naoya Chiba
どんな論文か？
単眼画像と物体の2D上でのマスクのみの教師で物体の三次元形状を推定するよう学習する手法の提案．カメラ位置とボクセルグリッドで表現した粗い三次元形状とボクセルに紐付いた特徴量を推定，これらを用いてボリュームレンダリングを行い入力画像と比較することで学習を行う．さらにメッシュに変換後，微分可能レンダラーを用いてインスタンスごとに精緻化する．
新規性
ボクセルグリッドを経由して三次元形状を粗密に学習することで，2Dの教師のみで三次元メッシュの推定を実現した．ボクセルに対してはレンダリングロスに加え，マスクが一致することを期待するロス，新規視点に対して適切な画像になることを要請する敵対的ロス，出力画像から入力画像の特徴量を復元するロスで学習．その後インスタンス単位でメッシュ化・形状の最適化を行う．
結果
OpenImagesで学習・評価し，妥当な三次元形状が再構成できていることを確認した．またいくつかの実世界データで評価し，実世界のデータについてもメッシュを推定できた．さらに OpenImages 50 Categoriesにも適用しさまざまなカテゴリに対応できたこと，COCOデータセットに適用してもうまく再構成できたことを示している．
その他（なぜ通ったか？等）
- …
- …