IMAGENET-AはImageNet-1Kの中から様々なモデルを騙す画像を集めており、IMAGENET-OはImageNet-22Kにあって1Kにはないクラスの画像から1Kにあるクラスとして認識されるような画像を集めている。特にIMAGENET-OはImageNet-1Kの分布から外れており、このようなデータセットは新規性がある。

両データセットを用いたテストの精度をあげるために、data augmentationやモデルアーキテクチャを変えた実験を行った。また、分類器の学習ではImageNetより良いとされるPlaces365データセットで学習し、ImageNet-1Kでfine tuningしたモデルについても実験を行った。これらの実験から、モデルのアーキテクチャを変えることでロバスト性を向上できることを示した。

プロジェクトページ：https://github.com/hendrycks/natural-adv-examples