#890
summarized by : Naoya Chiba
PointPainting: Sequential Fusion for 3D Object Detection

どんな論文か?

車載LiDARとRGBカメラを想定した三次元物体認識手法PointPaintingの提案.2D画像のみでセマンティックセグメンテーションを行い,三次元点群にクラススコアを結合してから点群ベースの物体認識(Point-RCNN,VoxelNet,PointPillars)に入力することで各手法のスコアを向上,KITTIでSoTAを達成.
placeholder

新規性

点群と画像を統合した手法が点群のみよりも性能が低い傾向にあることに着目し,点群ベースの物体認識に確実に貢献できるような組み合わせ方を検討・提案した.

結果

DeepLab3でセグメンテーションしクラススコアを抽出,Point-RCNN,VoxelNet,PointPillarsで物体認識した.KITTIで(一部はnuScenesでも)検証し,いずれの手法でも性能向上することを確認.どのような例で認識性能が向上したかについても詳細に分析.高速化のために前フレームの画像を利用しても性能があまり低下しないため,Latencyを小さくできることを検証.

その他(なぜ通ったか?等)

点群と画像が相補的な情報を持っていることは想像できるが,これまでの統合手法ではそれを活かせていなかったことを指摘し,提案法のアプローチを説明.シンプルなアイデアかつ明確なスコア向上でアプローチの妥当さを示した.