#63
summarized by : 岡本大和
Detecting Deepfakes With Self-Blended Images

どんな論文か?

自然な顔画像とAIが生成した顔画像(Deepfakes)を区別できるモデルの実現を目指して、より学習に効果がある顔画像の生成手法を提案した論文。
placeholder

新規性

学習用のFake顔画像を生成したいとき、従来手法は異なる人物同士の顔画像をBlendした。 しかし、異なる人物の顔をBlendする過程でアーティファクトが発生しやすい課題があった。(※アーティファクトが発生するとFake画像だと容易に見抜けるため学習効果が小さい) そこで、同じ顔画像に異なる加工を施した2枚の画像をBlendして、容易にFakeとは見抜けない学習しがいのある顔画像を生成した。

結果

データセットごとや、加工手法ごとに性能を比較。ほとんどの場合で提案手法が生成した画像を学習したモデルが最高性能を達成している。 フレームレベルでのFake検出手法なので時間方向のアーティファクトを捉えにくい点、加工された画像を検出できる一方でゼロからAIが生成したような画像(画像全体がFake)への対処は苦手な点が、制限として述べられている。

その他(なぜ通ったか?等)

Fake画像は異なる人物同士をBlendして生成するという思い込みを捨てて、同じ顔画像同士でも生成可能だと仮説を立てた、着想の勝利だと言える。 この論文も含めて、1枚の画像を加工して異なる画像のように利用するテクニックは様々な分野で使われている。他にもまだチャンスがあるかもしれない。