画像から抽出した2D表現と3D表現を関連付けるImaginary eyesという概念を提案した． これはレイトレーシングに着想を得ており，2D→3Dの関連だけでなく，3D→2Dのback tracingを行うことで，従来手法の弱点であった幾何構造の学習と密な3D表現能力の獲得を実現した．

nuSceneデータセット，3D object detection/BEV semantic segmentationの両タスクで従来手法を上回る性能を達成した． 特に3D object detectionではback tracingの効果によりmATEの指標が改善している．

プロジェクトページ：https://fudan-zvg.github.io/Ego3RT/