- …
- …
#412
summarized by : Kazuma_Asano
どんな論文か？
多くの3Dビジョンシステムは点群を利用してシーンを3D化しており，点群の復元に利用した画像はプライバシーの関係上破棄される．本論文ではそのような点群からシーン画像の復元とプライパシのいいとこ取りをする手法について提案した．本手法では点群からレンダリングした複数のチャネル（デプスやSIFTの特徴点）を入力とし，同じシーンのRGB画像を出力としたUnet構造のモデルを提案する．
新規性
1.スパースな点群射影情報から密なRGB画像を復元する問題を定義
2.3つの構造から上記の問題に取り組む深層学習モデルを提案
3.点群の特徴点，撮影時の視点の色と情報，点群からシーンを復元した時の情報を分析し，最小表現（SIFTの特徴点だけ？）でも傾向があることを示した．
4.プライバシーを保持しつつ，3D点群情報から詳細なRGB画像のシーンを復元可能なことを示した．
結果
2つのシーンデータセット（MegaDepth，NYU）を利用し，COLMAP（SfMツール）で点群を復元したものを実験に使用した．
実験ではInputにSIFT記述子のみ，記述子とスケール，記述子と方位，記述子と方位とスケールで変更し，何が一番有効かを実験した．また復元した画像はMAEやSSIMで評価を行い，どの程度復元できているかを判断している．記述子のみでもそこそこ復元可能なことも示した．
その他（なぜ通ったか？等）
定性的に見て，かなりスパースな点群からディーティールがしっかりした画像を出力できるのはすごいが．評価に使用したSSIMは0.5程度なので少し微妙な気もする．
- …
- …