我正在开发一个推荐系统,它应该为我的客户提供他们应该采取的行动,以达到特定的目标。
这一过程的基本机制是物理的--在这一过程中,行动和结果都可以从物理上加以衡量。
我目前的算法是基于一个预测模型,它可以预测给定行动的预期结果。这个结果是可以得分的,这样就可以打分*许多结果都能导致找到最好的行动--将被推荐的行动。
*评分依据的是结果与目标之间的距离。
我的预测模型性能很好(低MAE)。其性能评估的基础是预测已经采取的(历史性)行动,并将其预测与实际(历史)结果进行比较。
当我尝试评估建议的质量时,我的问题就出现了,因为许多建议都是没有采取的行动,所以我几乎没有什么方法来评估它们的质量。
我尝试将实际结果作为我的推荐系统的“目标”,并将推荐的行动与实际采取的行动进行比较。我不确定这是正确的方式,任何建议都将受到赞赏。
发布于 2018-10-23 17:15:36
解开这种推荐系统所涉及的因果关系是复杂的,但也是容易处理的。
考虑到您有一个很好的实验方法,并且您的评估数字是根据没有用于培训的数字(以及其他关注事项)生成的,听起来您使用过去的数据可以得到(或在附近)最好的估计值。
下一步将是形成一个新的实验,在这个实验中,你(理想地)随机地为一个组提供建议,而不是为另一个组提供建议,否则它们是相同的。然后测量两组的结果,并对它们进行统计比较,以确定效果的存在及其大小。
如果你在一个组织里,提出这项研究是你的下一步,或者如果你有自己的机构去做的话。
发布于 2019-12-21 12:08:36
一种普遍的方法是强化学习。它通过随机选择未探明的行为来解决评价问题,勘探率可以作为一个参数。
另一个一般的方法是建立一个良好的环境模型。然后通过仿真对未探索行为的结果进行评价。
https://datascience.stackexchange.com/questions/40087
复制相似问题