#109
summarized by : Naoya Chiba
2DPASS: 2D Priors Assisted Semantic Segmentation on LiDAR Point Clouds

どんな論文か?

LiDAR点群のセマンティックセグメンテーションに学習済みの2D CNNを活用する手法2DPASSの提案.点群と画像をそれぞれのバックボーンネットワークで処理しマルチスケールの特徴量を計算,3Dから得られる特徴量が2Dの特徴量に一致するようにする学習と,それぞれの特徴量(2Dでは点群からマッピングされた特徴量も合わせた特徴量)からクラス分類する分布が一致するようにKLdで学習する.
placeholder

新規性

学習済みの2Dセマンティックセグメンテーションで得られる特徴量とクラス確率を用いてリッチな点群の特徴量抽出を学習するというアプローチと,それを実現するためのネットワーク構造が新規.点群から2Dに変換してクラス確率についてのロスを与えて蒸留する設計により,推論時には2Dのネットワークを切り離しても動作する.

結果

Semantic KITTIとNuScenesで検証しResNet34による2D CNNとSPVCNNにとる3Dバックボーンを用いて検証し高い性能を達成.既存の他のKnowledge Distillation手法と比較しても優れることを確かめた.

その他(なぜ通ったか?等)