AWS胶中一个DPU中并发任务的最大数目

Question

一个标准的DPU在AWS胶配备了4个vCPU和2个执行者。我对与此配置并行运行的并发任务的最大数量感到困惑。是4还是8在一个带有4 4vcpu和2个执行者的DPU上？

Answer 1

我与AWS Glue支持小组进行了类似的讨论，我将与您分享他们告诉我的关于Glue配置的内容。以标准和G1.X配置为例。

标准DPU配置：

为Driver/ApplicationMaster

• Each保留的
• 1
• 1执行器被配置为2执行器
• 每个执行器配置5.5GB内存
• 每个执行器配置4核

F 211

G.1X WorkerType配置：

为Driver/ApplicationMaster

• Each工作人员保留的DPU配置为1 executor

• Each执行器配置10 GB内存

• 每个执行程序配置8核

例如，如果我们有一个带有21个DPU的标准配置的作业，就意味着我们拥有：

• 1 DPU为主
• 20 DPU x2= 40执行者
• 40执行者-1驱动/AM= 39执行者

我们最终得到了156个核心。也就是说，你的工作有156个执行时间。例如，如果您从S3读取文件，这意味着您将能够并行地接受156个输入文件。

希望能帮上忙。