トランスフォーマーの計算量削減において、KとVを平均プーリングでダウンサンプリングさせるという手法がある。そこにWavelet変換を適用することで計算量を削減しつつも精度を従来のダウンサンプリング手法よりも向上させたという研究。