- …
- …
#252
summarized by : Naoya Chiba
どんな論文か？
対照学習を用いて三次元点群を潜在空間に埋め込む手法の提案．異なるデータ点を区別するだけでなく，剛体変換を適用しても潜在ベクトルの変化が小さいように・学習画像と点群を用いてマルチモーダルで共有した潜在空間にしてモーダルが異なる同一のデータが近くなるように学習する．
新規性
ある点群データについて剛体変換を適用し点群エンコーダーで潜在ベクトルに変換，これらの距離が近づくようなロスをSimCLRで提案されたNT-Xent lossで与える．また，ランダムな視点からレンダリングした2D画像を画像エンコーダーで潜在ベクトルに変換，点群から得られた潜在ベクトルの平均との距離が近くなるようなロスを同様にNT-Xent lossで与える．
結果
学習した表現が種々のタスクに利用できるかを検証．事前学習に使ってModelNet40・ScanObjectNNのクラス分類タスク，Few-shotでのModelNet40・ScanObjectNNのクラス分類タスク，ShapeNetPartのパーツセグメンテーションタスクで検証し高い性能を達成．
その他（なぜ通ったか？等）
- …
- …