- …
- …
#502
summarized by : 鈴木共生
どんな論文か？
顔認証など顔分析タスクに向けた，2D再構成を用いたSelf-Supervised手法．従来の顔認識モデルでは，2D画像を入力として顔認証を行っていた．これに対して，奥行などを用いた2D顔画像再構成タスクを学習することで，3D情報を考慮したモデルの作成を実現した．また，学習したモデルは顔属性分類など他タスクに転用可能であることを示した．
新規性
ネットワーク構造は画像のとおり．顔認証モデルの入力からカメラポーズと照明，中間特徴から奥行画像とアルベド画像を予測して2D顔画像を作成．距離ベースのロスと，2D顔画像再構成ロスで学習することで顔認証精度を向上させた．また，推論時には画像中央のモデルのみを用いるため計算量の増加はない．さらに，画像右のように3D情報を考慮しているネットワークの中段を他タスクに転用させて精度向上させることも可能にした．
結果
顔認証データ(IJB-B,IJB-C)のFAR評価でSOTAを達成した．また，2D画像再構成を学習したモデルを顔属性分類データ(CelebA,LFWA)に転用することで，これら別タスクにおいてもSOTAを達成した．
その他（なぜ通ったか？等）
近年のSelf-Supervised手法で用いられるジグソーパズルや回転角度の予測は画像分類などでは有効だが，顔タスクでは機能しない場合がある．これに対して，顔の3D情報を学習することが，顔タスクには有効であることを詳細な実験から示したため．また，2D顔画像再構成は内部的に3D情報を予測しており，ロスとしては入力と2D再構成画像の誤差をとるのみであり，追加のデータを必要としない手法であるため．
- …
- …