- …
- …
#511
summarized by : 角田良太朗
どんな論文か？
RGBDの隣接フレームからopticalおよびscene flowを推定する。RGB画像とLiDARデータを融合する方法として従来はEarlyFusionおよびLateFusionのいずれかが用いられてきたが、そのいずれも問題があることを踏まえて、本論文ではmultistageのbidirectionalなfusionを新規に提案している。
新規性
BidirectionalFusionに加えてLiDARデータは点群ベースで扱っており、それをRGBからの特徴量とうまくfuseさせるために2D<=>3D間の補間モジュールを挟み込むことを提案。またdepthに応じてLiDARの点群密度が異なる問題に対して、分布を一様にするための新しい正規化方法を提案している。
結果
FlyingThingおよびKITTIにおいてRAFT3Dよりも良い精度を1/6程度のパラメータ数で達成。また新提案のfuse手法の効果も実証している。
その他（なぜ通ったか？等）
深い考察を踏まえての改善手法提案という形ではないが、early/late fusionの問題は数年前からずっと指摘されていた問題であり、そこに新規の改善手法を出した点が高評価。
Depth completionタスクにも使えそうである。
https://github.com/MCG-NJU/CamLiFlow
- …
- …