测试无监督机器学习算法

Question

在整个互联网上，我可以看到监督和无监督机器学习算法的应用程序，但没有人谈论保持机器学习应用程序的质量。最近关于如何测试无监督机器学习算法的分析提出了以下几点：

1)交叉验证测试:将数据集等分成多个折叠层(部分)，除一个折叠层外的所有折叠层作为训练数据集，后者作为测试数据集

关于使用测试和训练数据集的更多选项。

在输出不确定的情况下，有没有更有效的方法来测试无监督ML算法？

Answer 1

根据您使用的算法类型(和选择的距离)，您仍然可以尝试查看组之间的方差和组内的方差是否有很大变化。

如果你的算法仍然和你构建它的时候一样好，那么两者之间的方差和里面的方差应该不会有太大的变化。如果两者之间的方差缩小(或相反)，则算法不会像以前那样很好地分离均值组。

你可以尝试的第二件事是保留一些观察结果(你知道这些观察结果已经被很好地分类了)，看看一旦你重新训练了你的算法，它们是否仍然在同一个组中。如果没有，这并不意味着你的算法是错误的，但在这种情况下，你可以发送一个警报来更深入地研究。