我们正在AWS上构建一个ML管道,这显然需要一些繁重的计算组件,包括预处理和批处理培训。
大多数管道都在Lambda上,但是Lambda对作业可以运行多长时间(~15分钟)有时间限制。因此,对于较长时间运行的任务,如批量培训的ML模型,我们将需要(?)访问类似于EC2实例的内容。例如,可以调用lambda函数,然后启动一个EC2实例来处理培训。
对于繁重的计算,除了使用EC2之外,还有其他选择吗?是否有一种方法仍然在AWS上托管/运行作业,而不利用任何EC2来执行计算?
这样做是为了避免EC2带来的额外管理,因为我们目前没有使用它。保持一切接近兰博达一样,尽可能是理想的。
发布于 2021-06-29 15:07:57
对于批量培训,我一直在使用sagemaker,虽然它有点贵,然后是ec2,但它很容易设置和开始。
参考文献:
https://datascience.stackexchange.com/questions/97253
复制相似问题