- …
- …
#568
summarized by : Yusuke Saito
どんな論文か？
RGB-Dスキャンで得られた情報から、観察されていないシーンの形状と色を自己教師付きで学習することにより、高品質で色付きの3Dモデルを生成する新しい手法を提案する。
新規性
- 3Dスキャンで色情報が欠落しているインコンプリートスキャンを対象とする点
- 部分スキャンの幾何学的補完のための自己教師付き学習手法という点でSG-NNにヒントを得ているが、本手法ではさらに2D信号から直接3Dシーン生成の情報を得ることで、高品質な3Dシーンのカラー再構成を実現している。
結果
- SSIM, Feature-l1, FIDの評価指標において、Matterport3DおよびShapeNetの椅子データセット両方にて、Im2Avatar, Pifu, Texture Fieldsを上回っている
- IoU, Recall, Chamfer Distの評価指標において、Matterport3DおよびShapeNetのデータセット両方にて、SG-NNを上回っている
その他（なぜ通ったか？等）
- SG-NNを参考にしつつ、高解像度で高品質なシーンの色の再構成を実現するために、2Dレンダリングに作用する敵対的損失と知覚的損失を用いることで、より説得力のある３Dモデル再構成を実現している点
- 多くの評価指標（SSIM, Feature-l1, FID, IoU, Recall, Chamfer Distの全て）で、既存手法よりも大きく結果が向上している点
- …
- …