首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >评价建议的质量和准确性

问评价建议的质量和准确性
EN

Data Science用户
提问于 2018-10-23 12:15:43
回答 2查看 155关注 0票数 4

我正在开发一个推荐系统,它应该为我的客户提供他们应该采取的行动,以达到特定的目标。

这一过程的基本机制是物理的--在这一过程中,行动和结果都可以从物理上加以衡量。

我目前的算法是基于一个预测模型,它可以预测给定行动的预期结果。这个结果是可以得分的,这样就可以打分*许多结果都能导致找到最好的行动--将被推荐的行动。

*评分依据的是结果与目标之间的距离。

我的预测模型性能很好(低MAE)。其性能评估的基础是预测已经采取的(历史性)行动,并将其预测与实际(历史)结果进行比较。

当我尝试评估建议的质量时,我的问题就出现了,因为许多建议都是没有采取的行动,所以我几乎没有什么方法来评估它们的质量。

我尝试将实际结果作为我的推荐系统的“目标”,并将推荐的行动与实际采取的行动进行比较。我不确定这是正确的方式,任何建议都将受到赞赏。

EN

回答 2

Data Science用户

发布于 2018-10-23 17:15:36

解开这种推荐系统所涉及的因果关系是复杂的,但也是容易处理的。

考虑到您有一个很好的实验方法,并且您的评估数字是根据没有用于培训的数字(以及其他关注事项)生成的,听起来您使用过去的数据可以得到(或在附近)最好的估计值。

下一步将是形成一个新的实验,在这个实验中,你(理想地)随机地为一个组提供建议,而不是为另一个组提供建议,否则它们是相同的。然后测量两组的结果,并对它们进行统计比较,以确定效果的存在及其大小。

如果你在一个组织里,提出这项研究是你的下一步,或者如果你有自己的机构去做的话。

票数 0
EN

Data Science用户

发布于 2019-12-21 12:08:36

一种普遍的方法是强化学习。它通过随机选择未探明的行为来解决评价问题,勘探率可以作为一个参数。

另一个一般的方法是建立一个良好的环境模型。然后通过仿真对未探索行为的结果进行评价。

票数 0
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/40087

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档