ML算法审计方法

Question

对于机器学习算法设计的质量评估方法是否有很好的参考。范围很广，包括从数据准备到通用性测试的每一个步骤。

此外，是否有任何自动化的“压力测试工具”，以确保算法不偏倚，它符合所要求的性能？

Answer 1

以下是一些与你的问题相关的信息片段。

• 对于通用性测试，拆分数据集最常见的是将机器学习模型应用到training、validation和testing集合中。K次交叉验证也很常见:将数据集随机分为训练集和验证集，以确保验证集上的良好性能不仅仅是运气。
• 同样，为了确保您的算法不带偏见并符合所称的性能，没有比对测试数据集进行基准测试更好的方法了，这是模型在培训期间没有看到的。一些深入学习框架附带了一些工具，可以生成有关模型性能的报告，比如丹索尔·弗洛。
• 要了解哪些属性对算法有影响，您可以采取多种方法。可解释工具 (如LIME )将帮助您了解您培训过的模型所使用的数据的哪些特性对模型的预测影响最大。关于可解释性的这一条继续讨论，进行更深入的讨论，提供一些框架以及您可以遵循的教程。