首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >用于在AWS上运行ML批培训作业的替代EC2

问用于在AWS上运行ML批培训作业的替代EC2
EN

Data Science用户
提问于 2021-06-29 14:22:14
回答 1查看 110关注 0票数 1

我们正在AWS上构建一个ML管道,这显然需要一些繁重的计算组件,包括预处理和批处理培训。

大多数管道都在Lambda上,但是Lambda对作业可以运行多长时间(~15分钟)有时间限制。因此,对于较长时间运行的任务,如批量培训的ML模型,我们将需要(?)访问类似于EC2实例的内容。例如,可以调用lambda函数,然后启动一个EC2实例来处理培训。

对于繁重的计算,除了使用EC2之外,还有其他选择吗?是否有一种方法仍然在AWS上托管/运行作业,而不利用任何EC2来执行计算?

这样做是为了避免EC2带来的额外管理,因为我们目前没有使用它。保持一切接近兰博达一样,尽可能是理想的。

EN

回答 1

Data Science用户

回答已采纳

发布于 2021-06-29 15:07:57

对于批量培训,我一直在使用sagemaker,虽然它有点贵,然后是ec2,但它很容易设置和开始。

  • 制作一个码头容器并将其推送到ecr,然后开始培训,并使用wandb之类的任何监视工具跟踪度量指标。
  • 如果您的用例不需要任何自定义包,那么您也可以使用HuggingFace DLC它,这可以使它更容易开始培训。

参考文献:

票数 1
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/97253

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档