模拟性能指标

Question

这是一个半广义的问题，但我觉得它在某种程度上是可以回答的，或者至少是可以接近的。

我花了一个月左右的时间做了一个相当广泛的模拟。为了保护我雇主的利益，我不会具体说明它是做什么的…但对它的作用的类比可以解释为...一场高中舞蹈。

女孩或男孩进入舞池，基于对自由舞伴的选择，做出最优选择。一段时间后，两个舞者完成了舞蹈，现在可以自由地进行新的合作了。

我一直在设计伙伴选择算法，旨在最大化平均匹配结果，同时不会牺牲太多等待伙伴的时间。

我想要一种方法来衡量/比较我的算法的版本，以便为任何情况选择最佳算法。然而，这是困难的，因为我的模拟的输入是非常大的输入参数矩阵(每个舞者2-5个)，并且模拟运行需要几分钟(这一事实使得测试大量模拟输入变得困难)。我有一些输出指标，但将它们与大量输入联系起来是非常困难的。我也有兴趣找出哪些算法在某些输入条件下完全失败……

有什么专业技巧/在线资源可以帮助我定义输入约束/输出变量，从而使最佳算法变得清晰？

Answer 1

我可能不明白你到底想要什么。但这是我的建议。如果我的解决方案不准确/不相关，请让我知道，我会相应地编辑/删除。

假设你有一个特定的指标(比如配对的兼容性或等待时间)。如果你只有所有用户的这个指标的平均值或总数，那么它就没有什么用处了。相反，您可能希望找到此指标在所有用户上的分布情况。如果什么都没有，你应该始终跟踪变化。一旦你有了分布，你就可以计算出对于某个指标，特定的算法A比B更好的概率。

如果您没有指标在实验中的分布，您始终可以运行多个实验，并且您需要运行的实验数量取决于指标的方差和两个算法之间的差异。