#442
summarized by : 鈴木共生
End-to-End Reconstruction-Classification Learning for Face Forgery Detection

どんな論文か?

本物の顔画像かNNで生成された偽物の顔画像かの2クラス分類手法を提案.従来では,学習データの偽画像パターン(ノイズや周波数特性)に特化するために,未知の偽画像パターンには対応できなかった.提案法では,画像のようにエンコーダー・デコーダーで再構成した際,本物と偽物でピクセルレベルの誤差の分布に違いがあることに注目した.
placeholder

新規性

クラス分類の前に画像の再構成ネットワークを入れる.この際,再構成ネットワークでは特定の偽画像パターンに特化しないために,学習データを本物の顔画像のみにする.結果,未知の偽画像が入力された際に再構成結果の違いをもとにした分類が可能になる.また、提案法では偽画像と特徴量レベルで分布が離れるようにするために距離ベースのロスも追加した.

結果

偽画像を含むデータセット(FF++,DFDCなど)において,正答率(Acc),AUC,EERで評価してSOTAを達成した.また,学習データとテストデータが違うケースにおいても評価を行っており,従来法よりも偽画像パターンに対してロバストであることを示した.

その他(なぜ通ったか?等)

偽画像はNNの構造によって膨大な生成パターンが想定される.この問題に対して,本物との差分に注目することで対応しており,評価データでSOTAを達成しているため.また,再構成ネットワークの有効性を示すために,Grad-CAMなどで詳細な分析がなされているため.