- …
- …
#722
summarized by : Yusuke Saito
どんな論文か？
既存のカラーガイド付き深度超解像（DSR）手法は、学習サンプルとしてペアのRGB-Dデータを必要とする。そこで本論文では、RGBと深度の両方のモダリティが利用可能なトレーニング段階でクロスモダリティの知識蒸留を行い学習する手法を提案する。また単一の深度モダリティしか存在しないターゲットデータセットでテストを行うことを初めて検討する。
新規性
- 学習段階では複数のモダリティを入力として学習するが、テストは単一のLR深度モダリティのみで行う。
- 既存の知識蒸留法を参考に、単一のDSRタスクのシーン構造ガイダンスを学習することを提案する。さらに、既存研究との違いは、教師と生徒の役割を動的に変更することである。
結果
- 既存のSOTAとの比較。タスク間相互作用スキームを使用する場合、DSRN（既存のSOTA）に匹敵する結果となった。またNYUv2 datasetおよびToFMarkデータセットでは、SOTAを実現した。
- クロスタスク蒸留と構造予測タスク、不確実性誘導型注意融合モジュールについてAblation Studyを行い、それぞれのモジュールの有効性を確認した。
その他（なぜ通ったか？等）
- カラーガイド付き深度超解像（DSR）手法において、テスト時にDepthのみで推定できる手法となっている点
- 知識蒸留法と構造予測をDSR手法に組み込み、深度超解像においてSOTAを実現している点
- …
- …