これまでの研究では、モデルのアーキテクチャやホールドアウトされたデータセットへの一般化に焦点が当てられており、マルチタスク学習の特殊な設定はほとんど見過ごされてきた。我々は、シングルタスクの性能と比較して、マルチタスクモデルの現在のデータセットの性能に比例して学習用のインスタンスを選択するという単純な動的サンプリング戦略が、先行するマルチタスクのサンプリング戦略よりも実質的な利益を与え、マルチタスク学習でよく見られる破局的な忘却を緩和することを示す。 また、各エポックとバッチの間で異なるタスクのインスタンスを可能な限りインターリーブすることは、エポックやバッチレベルでタスクの同質性を強制するよりも、マルチタスクのパフォーマンスに明確な利点があることを実証した。

我々の最終モデルは、最近発表された多タスク読解ベンチマークであるORBにおいて、ベストモデルよりも性能が大幅に向上していることを示した。