当我使用glue python shell而不是glue spark时,1 dpu设置会改变吗?我最近在Maximum number of concurrent tasks in 1 DPU in AWS Glue上看到了一篇文章,我看到他们在谈论glue spark,但不是来自aws glue python shell,这就是为什么我有疑问的原因。
发布于 2020-08-12 23:49:19
根据此doc,Python shell类型的AWS胶水作业可以分配1DPU或0.0625 DPU.By。默认情况下,AWS Glue为每个Python shell作业分配0.0625 DPU。
每DPU小时收费0.44美元,增量为1秒,向上舍入到最接近的秒数,Python shell类型的每个作业的最短持续时间为1分钟。
单个this提供的处理容量由4个vCPU计算和16 GB内存组成。
您最多可以提供1个DPU,因为它不需要太多资源,因为不涉及分布式处理。您尝试提供1个以上的DPU,将遇到如下所示的错误:
https://stackoverflow.com/questions/63372172
相似问题