RGB-PカメラのペアとNIRカメラとLiDARで撮影とキャリブレーションを行い、20種類の材質で領域をアノテーションしたMCubeSデータセットを構築した。また、モーダルごとの特徴抽出の結果から平均値が最大のチャネルを選抜するRGFSConvレイヤーを組み込んだMCubeSNetを提案した。

LiDARで領域のラベル付けを補助し、合計500パターンの画像でMCubeSデータセットを構築した。また、MCubeSデータセットで精度の評価を行い、マルチモーダルによりmIoUが向上することを示し、また条件を揃えたときにMCubeSNetは従来手法を上回る結果。

データセットを新たに構築し、セグメンテーション性能も高いため通ったと考えられる。プロジェクトページ( https://vision.ist.i.kyoto-u.ac.jp/research/mcubes/ )及びPyTorch実装( https://github.com/kyotovision-public/multimodal-material-segmentation )が公開されている。