summarized by : Masanori YANO
Kristen Grauman; Andrew Westbury; Eugene Byrne; Zachary Chavis; Antonino Furnari; Rohit Girdhar; Jackson Hamburger; Hao Jiang; Miao Liu; Xingyu Liu; Miguel Martin; Tushar Nagarajan; Ilija Radosavovic; Santhosh Kumar Ramakrishnan; Fiona Ryan; Jayant Sharma; Michael Wray; Mengmeng Xu; Eric Zhongcong Xu; Chen Zhao; Siddhant Bansal; Dhruv Batra; Vincent Cartillier; Sean Crane; Tien Do; Morrie Doulaty; Akshay Erapalli; Christoph Feichtenhofer; Adriano Fragomeni; Qichen Fu; Abrham Gebreselasie; Cristina González; James Hillis; Xuhua Huang; Yifei Huang; Wenqi Jia; Weslie Khoo; Jáchym Kolář; Satwik Kottur; Anurag Kumar; Federico Landini; Chao Li; Yanghao Li; Zhenqiang Li; Karttikeya Mangalam; Raghava Modhugu; Jonathan Munro; Tullie Murrell; Takumi Nishiyasu; Will Price; Paola Ruiz; Merey Ramazanova; Leda Sari; Kiran Somasundaram; Audrey Southerland; Yusuke Sugano; Ruijie Tao; Minh Vo; Yuchen Wang; Xindi Wu; Takuma Yagi; Ziwei Zhao; Yunyi Zhu; Pablo Arbeláez; David Crandall; Dima Damen; Giovanni Maria Farinella; Christian Fuegen; Bernard Ghanem; Vamsi Krishna Ithapu; C. V. Jawahar; Hanbyul Joo; Kris Kitani; Haizhou Li; Richard Newcombe; Aude Oliva; Hyun Soo Park; James M. Rehg; Yoichi Sato; Jianbo Shi; Mike Zheng Shou; Antonio Torralba; Lorenzo Torresani; Mingfei Yan; Jitendra Malik
Meta AIのEgo4Dプロジェクトによる、一人称視点の動画を中心としたマルチモーダルなデータセットに関する論文。
世界の日常生活からの学習に取り組むため、一人称視点の動画に加え、音声、3次元メッシュ、複数のカメラ視点などのデータも収集し、5種類のベンチマークを含むEgo4Dデータセットを構築した。モデルの過学習を避けるため、カメラは統一せず複数の機種を使用している。
大学や研究所の14チームがデータを収集し、9カ国の74地点、931名の参加者による3,670時間の動画を含むデータセットを構築した。
データセットの規模と、多様性の確保に努めたことで通ったと考えられる。20組織の85名の著者による論文で、65ページのSupplementary Materialにはデータセットの分析情報や社会的影響、5種類のベンチマークの詳細などが解説されている。プロジェクトページ( https://ego4d-data.org/ )が公開されている。