Mask R-CNNのRoIAlignにより対応する領域を抽出し、新たなクエリ埋め込みを出力するSemantics Alignerを組み込んだSAM-DETRを提案した。アテンション機構には変更を加えないため、従来手法のDETR訓練高速化と併用が可能。

ImageNet Pre-trainedのResNet-50をバックボーンに使用し、COCOデータセットで評価を行い、DETRより訓練時の収束が早く、精度に関してもDETRを上回る結果。ICCV 2021採択のSMCAと併用すると、さらに向上して12エポックでFaster R-CNNと同等の精度が得られる結果。

収束を早くし、検出性能も高くなる結果を示したため通ったと考えられる。PyTorch実装( https://github.com/ZhangGongjie/SAM-DETR )が公開されている。