#58
summarized by : Anonymous
Improving Confidence Estimates for Unfamiliar Examples

どんな論文か?

現在のアルゴリズムは、関連性はあるが例外に値するようなものに対しては、良い性能であったとしても間違うことがある。例えば、trainデータで学習した年齢層と異なる年齢層の人を提示された場合12倍の確率で予測を誤ってしまう。そこでunfamiliarなサンプルとfamiliarなサンプルの予測精度の一致度合を改善するための手法を比較・評価する。
placeholder

新規性

最新の研究やデータに対する補完の役割を果たす本研究は新規性があると思われる。 またデータの増強や表現学習は、一般化を改善するための重要な方法であり更なる研究が必要である。 モデルの予測信頼性を向上させ最新の研究から知見を統合するためにも更なる研究が必要であり、今後も成長していく分野である。

結果

・T-scalingは全タイプの例外的なサンプルとよくあるサンプルの精度誤差を減らすのに有効であり、T-scaled modelは最良な手法であると示した。 ・T-scaling,distillation,G-distillationはどれもベースラインよりもはるかに優れた性能を発揮した。 ・尤度誤差を最小化するためには、サンプル数の異なる小さな検証セットを取得するのが最善である。

その他(なぜ通ったか?等)