画像から切り出したパッチを, 画像全体の中から検出するように, 事前学習を行う random query patch detection を提案している. 物体検出に有効な特徴量と画像分類に有効な特徴量には trade-off の関係があり, 事前学習中に画像分類に有効な特徴量が忘却されないようにロスの項を追加している. また, 複数の物体検出に対応するために、マルチクエリへの拡張も行なっている.

提案手法は PASCAL VOC と COCOの両方で既存手法の DERT と比較して, 収束が高速で, 精度も向上した. また, one-shot detection や panoptic segmentation への転移学習もDERTと比較して良い結果を示した.

https://github.com/dddzg/up-detr