- …
- …
#9
summarized by : Haruhi Shida
どんな論文か？
マルチモーダル検出のためのモダリティ融合手法として，世界で初めて検出器の確率的アンサンブル手法ProbEn を提案．本手法は，昼夜問わずに動作する自動運転車の達成に動機づけられている．背景としてマルチモーダルデータセットが不足していることに触れ，シングルモーダル検出器からマルチモーダル検出器を構成できる本手法を解決策として提案．アライメント有無ベンチマークで13%以上の相対的な精度改善を達成した．
新規性
提案手法は世界初のマルチモーダル物体のための確率的アンサンブル手法である．既存の学習時のストリーム内でモダリティを融合させる手法と比べて13%ほど精度が改善した．
マルチモーダルタスクにおいてもシングルモーダルデータセットで学習したモデルを活用できるようにしただけでなく，本研究ではベイズ則に基づいて欠落したモダリティを別のモダリティで有効に補完できることも新たに示した．
結果
提案手法をKAISTとFLIRのマルチモーダル画像を含む2つのベンチマークで検証，
先行研究と比べて13%以上高い性能も示した．添付した画像はKAISTでの実験結果
その他（なぜ通ったか？等）
【なぜ通ったか?】
本研究では，マルチモーダル検出においても，これまでのシングルモーダルデータセット，事前学習モデルを活用できる道を示した．また複雑になりやすいマルチモーダルタスクに対して，今後の研究のベースラインとなるような強力でシンプルな手法を提案したため．
- …
- …