- …
- …
#301
summarized by : Naoya Chiba
どんな論文か？
事前にCADデータで学習してから，2D画像で三次元形状・セグメンテーションを学習する．パーツ情報を含めた幾何形状と色，ライティング条件を分解するように学習する．入力画像から特徴量を計算し，BAE-Netのアイデアでパーツごとに分離した幾何形状を復元，さらに各点に対する色を推定し，観測される表面の形状と色を再構成する．その後入力画像から推定したライティングを適用し，画像を再構成する．
新規性
三次元の教師なしで幾何形状とアルベドとライティングを同時に学習する点が新規．幾何形状推定にはImplicit Functionによる形状表現を利用し，内部でパーツセグメンテーションを行って対応する色を出力することで色の推定がパーツごとになるようにしている．画像に見えている点について表面法線と色を選択し，これらを元にレンダリングして出力画像を得ている．
結果
ShapeNetで事前学習し，Pascal 3D+で検証した．シングルビューでの三次元再構成が高い精度で行えることに加え，一貫性のあるパーツセグメンテーションができていることを確認した．
その他（なぜ通ったか？等）
- …
- …