#159
summarized by : Yue Qiu
Mask2CAD: 3D Shape Prediction by Learning to Segment and Retrieve

どんな論文か?

一枚の画像から,物体のSegmentationと物体に最も近いCADモデルと位置推定を同時に行う手法Mask2CADを提案.Mask2CADが大規模な3次元モデルデータセットから物体のUnderlying3次元構造を学習.Mask2CADが画像中の物体領域と3D CADモデルをジョイントなEmbedding空間に表し,RGB画像からCADのRetrievalを可能にした.
placeholder

新規性

①3D CADと画像中物体のJoint embedding;②Mask2CADが高精度でShapeをリコンストし,Unseen物体に対しても汎化性を示した.③Real-world物体の認識と3次元のSim環境の物体認識に橋を架けて,Real-worldのDigitizationやContent作成などに可能な方法を提供.

結果

①Pix3dデータセットにおいてSOTAな精度を達成;②ScanNetでimage-to-3Dのベースラインを作った.

その他(なぜ通ったか?等)

Real画像の物体とCADをジョイントでEmbeddingするところがReal画像とSim環境間に橋をかけている.