#367
summarized by : Naoya Chiba
Multi-Path Region Mining for Weakly Supervised 3D Semantic Segmentation on Point Clouds

どんな論文か?

三次元点群のセマンティックセグメンテーションを弱教師あり学習で実現.点群全体とその部分点群(Subcloud-level)の物体ラベルからpseudo labelを生成,CRFでリファインして学習する.KPConvでの畳み込みで局所形状の特徴を抽出した後,各種Attentionを導入したネットワークで処理し,複数ラベルに対応したロス関数で学習する.
placeholder

新規性

点群に対して部分点群に含まれる物体クラスラベルによる弱教師付き学習というシナリオを提案,ScanNetで検証.KPConvとResNetを組み合わせた特徴抽出後にSpatial Attention,Channel Attention,Point-wise Attentionの各Moduleを統合したネットワークを用いて,設定したシナリオでpseudo label生成を実現した.

結果

弱教師付き学習をScanNetに適用,mIoUで2年前頃(点群深層学習初期)の教師ありセマンティックセグメンテーションよりも高いスコアを達成.CAM (Class Activation Map)をKPConvとResNet Blockからなるネットワークに適用したものをベースラインとして比較し,提案するネットワークの有効性を評価.

その他(なぜ通ったか?等)

点群のセマンティックセグメンテーションについて弱教師付き学習を行うのは新規であり,有用と思われる問題設定だった.ネットワーク構成にはタスクに応じたAttentionが導入したものを利用.Ablation Studyについても記載.