- …
- …
#67
summarized by : 日坂 幸次
どんな論文か？
手話においてハンドジェスチャーは重要な役割を果たしています。
現在の深層学習ベースの手話認識（SLR）手法は、手話のデータソースが限られているため、解釈性が不十分であったり、オーバーフィッティングが発生する可能性がある。
新規性
本論文では、手話認識のための手の事前処理を組み込んだ、初の自己教師付き事前学習可能なSignBERTを紹介する。SignBERTは、手のポーズを視覚的なトークンとして捉え、これは市販のポーズ抽出器から得られる。
このビジュアルトークンには、ジェスチャーの状態、時間、手のキラリティ情報が埋め込まれます。
結果
一眼レフにおける本手法の有効性を検証するために、4つの公開ベンチマークデータセット、すなわち、NMFs-CSL、SLR500、MSASL、WLASLを用いて広範な実験を行った。
実験の結果，自己教師付き学習とインポートされた手の事前情報の両方が有効であることがわかった．
さらに，すべてのベンチマークにおいて，注目すべき最先端の性能を達成することができた．
その他（なぜ通ったか？等）
- …
- …