萨格梅克模型评价

Question

Amazon文档列出了几种评估模型的方法(例如交叉验证等)。然而，这些方法似乎在中不可用。目前，如果我们想要进行5倍交叉验证，似乎唯一的选择是为每个数据子集创建5个模型(并部署5个端点)，并手动计算性能度量(召回、精度等)。

这种方法效率不高，而且根据k折叠验证中的折叠数，也可能需要部署k个端点。

还有其他方法来测试模型的性能吗？

Answer 1

Amazon是一组多个组件，您可以选择使用哪些组件。

内置算法是为(无限)规模设计的，这意味着您可以拥有庞大的数据集，并且能够用它们快速、低成本地构建模型。一旦有了大型数据集，通常不需要使用交叉验证之类的技术，建议在培训数据和验证数据之间进行明确的划分。在提交培训作业时，将使用输入通道定义这些部分中的每一部分。

如果您有少量的数据，并且希望对所有数据进行培训，并使用交叉验证来允许它，您可以使用服务的另一个部分(交互式笔记本实例)。您可以携带您自己的算法，甚至容器图像，用于开发，培训或托管。您可以拥有任何基于任何机器学习库或框架的python代码，包括scikit- learning、R、TensorFlow、MXNet等。在代码中，您可以根据从S3复制到工作实例的培训数据定义交叉验证。