如何向高管证明预测模型的可靠性？

Question

我训练了来自500个设备的数据来预测它们的性能。然后，我将经过训练的模型应用于另外500个设备的测试数据集，并显示了相当好的预测结果。现在，我的高管们希望我能证明这种模式在一百万台设备上运行良好，而不仅仅是在500台设备上。显然，我们没有一百万台设备的数据。如果模型不可靠，他们希望我发现所需的列车数据数量，以便对100万台设备进行可靠的预测。我应该如何处理这些没有统计分析和建模背景的高管？有什么建议吗？谢谢

Answer 1

我建议@cep写下他的评论作为答案--包括提供variance和bias的计算。在任何情况下都可以添加

“不要很快就认为Execs在技术或数学概念上本质上是无能的”

虽然可能会有Dilbert经理.在某个地方，我自己也很少见过他们。更多的情况是，管理者通过艰苦的工作来获得他们的职位。他们可能生锈了，但他们的能力仍然存在。

在这种情况下，不管他们是否有“统计分析和建模的背景”，他们都是在运用常识。

您可能做的第一件事是提供适当的上下文和术语。@cel提到了其中的一些内容:为以下方面提供了具体价值：

• 假设
  • 你对这些数据做了什么假设。
  • 考虑有限数据外推的依据是什么？
  • 为什么要说出的结果值得信赖，以适用于99.5%的未测试数据

​

• 数据分布
  • 基本描述统计
  • 你对数据的先验分布的看法。证明你为什么选择它

​

• 建模
  • 考虑了哪些模式/方法以及为什么
  • 你实际上选择了哪一种模式以及为什么
  • 你是怎么得到超参数的？
  • 你是怎么训练模特的

​

• 结果
  • 拟合误差率的统计度量

​