Google数据融合CPU

Question

当我试图部署下游管道时，收到的日志中的错误如下：

PROVISION task failed in REQUESTING_CREATE state for program run program_run:default.ListaNomi1_v3.-SNAPSHOT.workflow.DataPipelineWorkflow.182bbf2c-576b-11ec-8095-da8d4f8ab0b3 due to Dataproc operation failure: INVALID_ARGUMENT: Multiple validation errors: - Insufficient 'CPUS' quota. Requested 10.0, available 3.0. - Insufficient 'CPUS_ALL_REGIONS' quota. Requested 10.0, available 7.0. - Insufficient 'IN_USE_ADDRESSES' quota. Requested 3.0, available 1.0. - This request exceeds CPU quota. Some things to try: request fewer workers (a minimum of 2 is required), use smaller master and/or worker machine types (such as n1-standard-2)..

我试图更改工作节点和主节点配置，但总是失败，我不能修改配额，因为我不是领导者，他说这是不能改变的。

Answer 1

要使用云数据融合处理数据，您需要一个集群。有两种选择：

为每个管道运行创建

• 临时集群时。这是您正在尝试使用的，但是它需要计算配额来创建集群
• 静态集群(现有的Dataproc)。在这种情况下，集群是预先创建的，您只需通过创建和选择供应配置文件“指向”管道使用它。这可以作为在管道启动期间防止配额问题的一个选项。但是，即使没有任何作业，这样的静态集群在运行时也会产生成本。