Azure数据库执行失败- CLOUD_PROVIDER_LAUNCH_FAILURE

Question

我使用Azure DataFactory来摄取数据，并通过ADF的笔记本活动使用Azure笔记本。

该笔记本使用了一个现有的标准DS3_V2实例池(2-5个节点自动计算)和7.3LSTSParkRuntime版本。多个团队对各自的数据管道使用相同的Azure订阅。

在ADF管道执行过程中，我经常面临笔记本活动失败，下面是错误消息

{
  "reason": {
    "code": "CLOUD_PROVIDER_LAUNCH_FAILURE",
    "type": "CLOUD_FAILURE",
    "parameters": {
      "azure_error_code": "SubnetIsFull",
      "azure_error_message": "Subnet /subscriptions/<Subscription>/resourceGroups/<RG>/providers/Microsoft.Network/virtualNetworks/<VN>/subnets/<subnet> with address prefix 10.237.35.128/26 does not have enough capacity for 2 IP addresses."
    }
  }
}

有人能解释一下这个错误是什么吗?我怎样才能减少这个错误的发生？(我发现的文件不具解释性)

Answer 1

看起来您的数据块是在VNET中创建的，请参阅此链接或此链接。完成此操作后，databricks实例将在此VNET中的一个子网中创建。似乎在触发的时候，子网中的所有IP都已经被利用了。您不能广告不应该扩展IP空间。请不要试图更改现有的VNET配置，因为这将影响您的databricks集群。您有以下选项。

1. 检查何时实例化较少的databricks实例，并在此期间调度ADF。您应该考虑跨时间分发执行，这样我们就不会试图在子网中的现有in上达到峰值。
2. 请您的IT部门创建一个新的VNET和子网，并在此VNET中创建一个新的Databricks集群。

Answer 2

问题产生于这样一个事实:当您的工作区被创建时，网络和子网大小没有得到正确的规划(请参阅文档)。因此，当您试图启动集群时，给定的子网中没有足够的IP地址，并且出现了此错误。

不幸的是，现在还不可能扩展网络/子网大小，所以如果您需要一个更大的网络，那么您需要部署一个新的工作区并迁移到其中。