错误分发时测试集中的公平性度量

Question

我怀疑我们已经和我的同事讨论了好几个星期了，我想听听你的意见。我有一个诊断疾病的模型，我想知道这是否公平。我用一个队列训练模型，并使用另一个队列进行测试。我想要评估这种疾病在性别上的公平性。我的第一个想法是降低测试的样本，使患病人数与健康人数相同。但我们的讨论之所以发生，是因为测试是无法触及的。但这在诊断和预测方面是明确的，但不是为了公平。一些文件是由团体批准的。如果我使用完整的队列，大多数病例都是健康女性(阴性和敏感组)，例如7.000比100，所以公平最显示出对健康女性的偏见，而不是我对疾病感兴趣的女性，这不是我想要的。我想知道有没有人想过这个问题。公平是一个新问题，我认为不应将其视为预测或分类。我认为测试应该以某种方式分层，因为健康和不健康之间没有这种不平衡的比率。

有什么帮助吗？谢谢

Answer 1

这是一个阶级不平衡问题。如果您愿意，可以查看和审阅这篇论文：

https://www.mdpi.com/2072-6694/14/12/2897