参照文から構築したシーングラフで評価する方法としてはSPICEがあるが、これはシーングラフの2物体と関係の組を直接カウントしてスコアを出す。一方FAIErは、まず画像と参照文を同時に使う点が異なる。また、スコアの算出方法も、シーングラフの2物体と関係の組で直接比較するのではなく、シーングラフから抽出した特徴量のセットとしてマッチングのスコアを算出する点が異なっている。

MSCOCOのテストデータ5,000画像から、人間による生成文（参照文1）、学習モデルによる生成文1、参照文4の組で構成される評価用データセットHM-COCOを作成して評価した。人間の評価との相関、人間の文を学習済みモデルの文より高くスコアを付けた割合、データセット間での評価の一貫性において既存手法を大きく上回った結果となった。

網羅的に実験されていて、結果も非常に強い。補足：fidelityとadequacyはまとめて一つの尺度として扱われている。fidelityは画像中の物体が説明文に反映されているか、adequacyは説明の粒度が参照文と近いかどうかに関わるが、これをまとめて評価するのが提案手法のFAIErである模様。コードはhttp://vipl.ict.ac.cn/resources/codesで公開予定らしい