胶水dpu与max并发性的关系

Question

我在Amazon 上工作了一年多，但最近我们搬到aws glue进行数据处理。

我很难理解我们在胶水工作中提供的no of dpus和max concurrency之间的关系。

例如，我用2 dpus和max concurrency as 2创建了一个作业。最重要的是，假设我让two threads立即启动这个端点(job)。

假设我正在60GB file上执行一些聚合。我确实找到了一些帖子，但它们并没有真正帮助我，比如这和这

在aws胶水上，我可以期望这个作业运行多少次？

Answer 1

AWS提供了两个描述上述问题的关键文档：

https://docs.aws.amazon.com/glue/latest/dg/troubleshooting-service-limits.html

https://docs.aws.amazon.com/glue/latest/dg/add-job.html

基于这些文档，我们有以下作业参数和服务限制，这些参数和服务限制涉及我们的主题：

服务器限制：

• “每个帐户并发作业运行的次数”
• “每个作业并发作业运行的次数”
• “角色一次使用的最大DPU”

胶水作业参数：

• “最大并发性”
• “每次作业运行并发DPU”

这是一条规则，指的是一个胶水作业：

• “最大并发性”*“每个作业运行的并发DPU”“<=”角色一次使用的最大DPU“
• “最大并发性”<=“每个作业的并发作业运行次数”
• 运行<=“最大并发性”的胶水作业数量

如果同时运行多个胶水作业，还必须满足以下规则：

• 胶作业运行数*“每个作业运行的并发DPU”“<=”一次由角色使用的最大DPU“
• 胶水作业运行数<=“每个帐户并发作业运行数”

假设您使用默认的服务限制，并且不同时运行其他作业：

每个作业同时运行的作业数:3

角色一次使用的最大DPU:100

这意味着您可以并行运行三个相同的胶水作业，而这些任务的总数不能超过100个DPU的限制。

例如:您可以使用DPU=30和max concurrency=3运行3个胶水作业实例，但是当您使用DPU=50和max concurrency=3运行3个胶水作业实例时，您将收到以下错误：

“您的帐户超过了maxiumum的计算能力”

我希望它能帮上忙