当目标是将均值和方差最小化时，什么是好的奖励函数？

Question

我正试图提出一个问题，即尽量减少分配给不同用户的平均资源。由于环境的一些固有特性，一些用户很容易被最小化，而其他用户则很难做到这一点，这就产生了公平性问题。虽然主要的目标是最小化所有用户所消耗的平均资源，但我也希望确保分配是公平的，这样资源分配的差异就会更小。

那么，average+variance是一个合适的奖励函数吗？正确地说，我的意思是，它是否包含了我试图达到的目标--一个低平均水平，同时确保了某种程度的公平？我看到优化问题被描述为x*average + y*variance，其中有x+y=1。这种配方是否更适合我的情况呢？

Answer 1

有几种可能的方法。

如果您真正关心的是方差，您可以采用贝叶斯方法将相关属性建模为分布。

听起来你并不真正关心方差，你想要的是不同群体的比例结果。这有时被称为均衡赔率。这可以通过后处理来创建一个校准的分类器分数，从而将输出标签更改为您想要的目标。