如何处理机器模型训练中的数据采集偏差

Question

在许多ML问题中，我们收集数据并使用所收集的数据对模型进行训练。以建议为例，所收集的数据可能出于各种原因而有偏见：

1. 表达偏见。例如，在web上，您可能有分页；对于移动用户来说，可能需要向下滚动以查看超出几个项的内容。
2. 现有推荐系统的偏差:通常在运行中的生产推荐系统上收集数据，这就引入了偏差。例如，由于个性化，男性消费者几乎没有机会看到女性产品，等等。

在训练一个模型时，有什么方法来处理这个问题？

Answer 1

在大数据的世界中，数据已经存在，目前已有足够多的ML模型，但是不断有改进和应用，主要原因是如何从原始数据定义特性。

在您的例子中，引入一个新的特性，作为对数据中存在的偏见的惩罚。为了前夫。在表示法偏倚中，对最上面的项目给予较高的惩罚，对较低的项目给予较低的惩罚。同样，当大多数产品都是男性产品时，采用重量较轻的男性产品，反之亦然。

我仍然需要人类的直觉形式的特征;-)