#4
summarized by : 岡本大和(LINE Computer Vision Lab)
Self-Supervised Learning of Adversarial Example: Towards Good Generalizations for Deepfake Detection

どんな論文か?

既存のFake検出手法は、trainとtestが同じデータセットを元にしている場合にしかうまく動作しないと主張。 目標はFake Detectionを汎化すること。trainに含まれないようなFakeサンプル(≒異なるドメインのサンプル)で性能達成を目指したい。 論文の基本アイデアは「汎化されたモデルは偽造typeを区別できるはず」で、Real/Fake判定に加えて偽造type推論をさせる。
placeholder

新規性

ランダム生成したconfigに基づいて2枚の顔画像をブレンドしたFake-Imageを生成して、Discriminatorにreal/fake判定やconfig内容推論をさせる。 configでは、目や鼻といった合成エリア、alphaやpoissonといったblend手法を指定する。 合成画像は、2枚の顔画像を位置合わせをしてblendして生成。(ニューラルネットで生成しているわけではない)

結果

DF、F2F、FS、NTといったFake--image-Datasetから、異なるペアを選択してtrainとtestにした。 提案手法では、同じデータセット(例:DF-train、DF-test)では従来手法に劣ることもあったが、データセットの組み合わせが異なる場合は提案手法がほとんどSoTAを達成

その他(なぜ通ったか?等)

学習データセットが複数パターンの組み合わせの場合にはどうなるのか気になった。 例えば、DF、F2F、FSをtrainとして、NTをtestとした場合に、従来手法と提案手法で差が出るのか?