カメラ、ライダー、レーダー、ゲートNIR、FIRセンサーデータをカバーするマルチモーダルな悪天候データセットを紹介しました。このデータセットには、北ヨーロッパでの走行距離が10,000 kmを超える間の、激しい霧、大雪、大雨などのまれなシナリオが含まれています。一方、測定エントロピーによって駆動される適応的に融合するリアルタイムの深いマルチモーダル融合ネットワークを提案しました。

提案されたデータセットのモデルを評価し、目に見えない非対称な歪みに一般化することを検証しました。このアプローチは、薄霧、濃霧、雪、晴天などの天候に依存しないハードシナリオで、最先端のフュージョンメソッドよりも8％以上高いAPのパフォーマンスを発揮し、リアルタイムで実行されました。

珍しい自動運転の悪天候の実データセットでした。