- …
- …
#282
summarized by : Naoya Chiba
どんな論文か？
3Dシーンのセマンティック・インスタンスセグメンテーションのための事前学習として，時系列で物体が移動するシーンを合成して対照学習を行う手法，4DConstrastを提案．ScanNetとModelNetを用いて生成された合成シーンシーケンスで3Dと4Dのbackbone networkで得られる特徴量マップをSimSiamベースの対照学習で学習する．
新規性
動的なシーンシーケンスを合成し，時系列を考慮した対照学習を行うことで3Dの各種タスクに適用できる特徴量を得られるという発想が新規．フレーム単位で特徴量を計算したときのフレーム間で近い点の特徴量量が近くなること，時系列データとして処理したときの特徴量がそれと一致すること，時系列データ同士でも一致することをロスとする．
結果
ScanNetとModelNetを合成して生成されたシーケンスで事前学習し，セマンティックセグメンテーションタスク（3D U-Net）と物体検出・インスタンスセグメンテーションタスク（VoteNetとPointGroup）でファインチューニングして検証，既存の事前学習手法と比較しても提案法が優れた性能であることを示した．
その他（なぜ通ったか？等）
- …
- …