如何度量图像分类模型的鲁棒性？

Question

对动物分类数据进行训练的图像分类模型，如iNaturalist或iWildcam，有时会与背景产生虚假的相关性。如何衡量模型性能的限制只由这种虚假的相关性，而不是其他可信的(非虚假的)原因(即，2只动物看起来非常相似) ?！

Answer 1

Google 1，4.将分布中的健壮性定义为模型在相同的数据保持测试集上的性能.而分布外鲁棒性(这是问题的焦点)是模型对同一对象进行分类的性能，但在不同的数据集上。谷歌用来演示其最新产品“ViT”的基准数据集是: CIFAR10Vs100 2、CIFAR100Vs10、ImageNet Vs.Places3和视网膜。在PapersWihCode中，还有其他多个用于OOD检测3.的基准数据集。

1

2

3.

4.