検出後のデータにAttentionを用いる手法と異なり，提案手法では物体検出とデータの関連付けをEnd-to-endに同時推定するアプローチを提案．自己回帰させるトラッククエリには，物体のクラスやサイズ，位置そしてそれらの同一性の情報が埋め込まれる．加えて提案モデルの特性とデータ特性を考慮した学習戦略を提案．

マルチオブジェクト・トラッキングデータセットであるバウンディングボックスでアノテーションされたMOT17およびセグメンテーションでアノテーションされたMOTS20で有効性を検証．双方のデータセットでSoTAを達成．

従来分離させていた各処理をすべてTransformerで行うことで，各処理でのデータの相互効果を抽出することに成功．著者らと同じFAIRから提案されたDETRの「集合予測問題として一気に解く」というモチベーションが本論文でもあり，それをTransformerで実現させ，有効性を示したことに大きな価値がある． https://github.com/timmeinhardt/trackformer