TransformerベースのモデルのViTは解像度を落とさずに順伝播することに着目し、意味領域区分や深度推定など密な予測が必要なタスクで活用するという着眼点。 基本はViTを踏襲している(DPT-Base, DPT-Large)が、パッチ分割の特徴量をそのままRGBを並べるのではなく、ResNet50による特徴量抽出を行うモデルもある(DPT-Hybrid)。

深度推定や意味領域区分で検証している。深度推定に関しては、CNNもモデル(MiDaS)より、解像度が高く推定できていることがわかる。zero-shot転移ではスコアもかなり改善できていることがわかる。

CNNと混ぜる思想は、Incorporating Convolution Designs into Visual Transformers(https://arxiv.org/abs/2103.11816) と似ている。