对于数据科学家来说，什么才是好的绩效评估指标呢？

Question

背景

我是一名数据科学家，我被要求拿出一套指标/KPI来评估我的年度业绩，而奖金(在最坏的情况下被解雇)等事情就取决于此。当然，我也希望他们与我的个人数据科学家成长目标保持一致。我的立场包括：

• 从头到尾参与机器学习项目(获取数据访问、探索、建模、结果、演示、帮助生产等)
• 分析若干问题，为管理部门提供建议。
• 其中的一部分可以是教育利益相关者如何使用新的工具自己进行分析。

我所观察到的是，在衡量成功方面，数据科学家的工作相当复杂，而绩效评估等指标则更难设计。

我的直觉：

一方面，所部署的机器学习模型的数量似乎是一个直接可测量的度量，但另一方面，所有模型都不是相等的。有些人可能需要很多时间，而另一些人则可能准备得比较快。分析/探讨的专题数目也是如此，因为在探索过程中，所需的努力可能比建模工作的差异大得多。

我唯一能清楚地指出的是所开发的机器学习模型的累积业务价值，或者通过探索/分析做出的业务决策。然而，这使涉众承担了大量的责任，为接近我们的团队(设计这一价值)投入了一项间接的工作，而涉众可能不愿接近我们。另一方面，我认为涉众应该清楚他们正在研究的每一个主题的价值，以及他们要求其他团队进行工作的价值。

除了商业价值外，我也考虑包括一些评估每一个建模项目或分析的质量的东西，比如一个质量分数，以促使我提高我的方法的质量，提出更好的等等，但我不确定量化这些东西的总体质量是否实际和一致地表明了它的意图。

问题：

对于这样的数据科学家，什么(通常)可以是良好的性能评估指标？

或

设计这些度量标准的技术方法应该是什么？

Answer 1

最明确的是:模型是增加了底线还是帮助了底线？达到什么程度？在我看来，这正是利益相关者所关心的问题。

更含蓄地说:你所做的工作是否允许简化模型制作过程？如果是的话，到了什么程度？工作前是否有很大的不同(很明显，是的，但你可能得把它说出来)。

拥有一个数据科学团队的目的是利用大量的数据来做出决策。有多少决定是基于你的全部或部分工作作出的？