#386
summarized by : hisaka koji
How2Sign: A Large-Scale Multimodal Dataset for Continuous American Sign Language

どんな論文か?

マルチモーダルかつマルチビューの連続したアメリカ手話(ASL)データセットであるHow2Signを紹介. 80時間以上の手話ビデオのパラレルコーパスと、それに対応する音声、英語のトランスクリプト、深度などのモダリティのセットで構成されている
placeholder

新規性

How2Signは、既存のマルチモーダルデータセットであるHow2[27]データセットに、新たに手話モダリティを追加したもので、視覚、音声、言語の各コミュニティで行われている研究との連携を可能にしています。

結果

アメリカ手話者を対象とした研究を行い、我々のデータセットを用いて生成されたビデオがある程度理解できることを示し、同時にこの分野で研究者が取り組むべき課題についての洞察を得た。

その他(なぜ通ったか?等)

https://how2sign.github.io/