#257
summarized by : Haruhi Shida
Learning Mutual Modulation for Self-Supervised Cross-Modal Super-Resolution

どんな論文か?

クロスモーダル超解像における,ロバストな自己教師付きモデル(MMSR)を提案.本手法は音源のLR問題とガイドの不一致問題を克服するために相互変調戦略を導入し、グランドトゥルースや外部学習データにアクセスすることなく、完全に自己教師付きで学習を行うために周期整合性制約を採用する.
placeholder

新規性

相関に基づくフィルタリングが,自己教師付きクロスモーダルSRモデルの効果的な誘導バイアスを提供することを示しクロスモーダル超解像において未解決であった「低解像ソース-高解像ガイドの組み合わせに対する学習」に対する有効な手法を新たに確立した.

結果

実験では深度,DEM,熱モダリティに対する提案手法の汎化性能を実証し,ノイズの多いデータや実環境のリモートセンシングデータへの適用可能性を示した. また教師付きおよび自己教師付きの最新手法と比較し,MMSRの定量的・定性的優位性を総合的に示した.(添付画像)

その他(なぜ通ったか?等)