Vision and Languageモデルの学習において継続学習の問題設定に初めて取り組んだと論文は主張している。継続学習の方法として、pseudo rehearsal methodsの一種であるNegative Text Replayを提案。対照学習の効果を最大限得るために、画像に対して最も見分けづらい負例テキスト生成を行う点が技術的な新規性。

ゼロショット画像分類と画像-テキスト検索タスクでモデルを評価。画像分類では既存モデルよりも平均4.60%の性能向上。