使用Azure部署带有HDInsight高级磁盘和ssh公钥的P30 Kafka集群

Question

你好，我正在尝试使用HDInsight Azure Cli部署 kafka集群，但是我正在努力解决两个问题。

1. Ssh公钥认证

当我指定--ssh-public-key选项并传递公钥时，我会收到以下错误：

“密码”和“sshProfile”都不能为空，“密码”和“sshProfile”都不能为空，“密码”和“sshProfile”都不能为空。

2.用于工作节点的高级P30磁盘

我尝试在值Premuim_DS12_v2中使用Premuim_DS12_v2选项(因为这是在使用Azure时调用节点的方式)。Cli产生了误导性错误反应：

指定数目的数据磁盘1超过了大小为Premium_DS12_V2的虚拟机规定的最大限制( 0 )。

原来它不是一个正确的vm大小。所以我用Standard_DS12_v2代替。

部署了集群，但是使用了Standard S30磁盘而不是P30。

下一步是将--workernode-data-disk-storage-account-type设置为premium_lrs，但它仍然生成S30磁盘。

我的Azure Cli版本

azure-cli (2.0.56)

参数

VM_SIZE_HEAD="Standard_A2m_V2"

VM_SIZE_WORKER="Standard_DS12_v2"

VM_SIZE_ZOOKEEPER="Standard_A2m_V2"

WORKER_NODE_NUMBER=3

WORKER_DISK_PER_DATA_NODE=1

WORKERNODE_DATA_DISK_STORAGE_ACCOUNT_TYPE="premium_lrs"

WORKERNODE_DATA_DISK_SIZE=1023

COMPONENT_VERSION="Kafka=1.1"

CLUSTER_VERSION=3.6

脚本

az hdinsight create --name $CLUSETER_NAME \
--resource-group $RESOURCE_GROUP \
--type "KAFKA" \
-u $CLUSTER_ADMIN -p $CLUSTER_PASSWOD \
--cluster-tier $CLUSTER_TIER \
--component-version $COMPONENT_VERSION \
--headnode-size $VM_SIZE_HEAD \
--location $LOCATION --size $WORKER_NODE_NUMBER \
--ssh-user $SSH_USER \
--ssh-public-key $SSH_KEY \
--storage-account $STORAGE_ACC \
--storage-default-container $STORAGE_CONTAINER \
--subnet $SUBNET \
--version $CLUSTER_VERSION \
--vnet-name  $VNET \
--workernode-size $VM_SIZE_WORKER \
--zookeepernode-size $VM_SIZE_ZOOKEEPER \
--workernode-data-disks-per-node $WORKER_DISK_PER_DATA_NODE \
--workernode-data-disk-storage-account-type $WORKERNODE_DATA_DISK_STORAGE_ACCOUNT_TYPE \
--workernode-data-disk-size $WORKERNODE_DATA_DISK_SIZE \
--cluster-configuration $CLUSETER_CONFIG

如果您需要更多的代码或信息，请告诉我。提前谢谢。

Answer 1

尝试为支持高级托管磁盘(即p系列/ P30)的工作节点使用VM。

上面选择的VM不支持高级存储。链接：https://learn.microsoft.com/en-us/azure/virtual-machines/dv2-dsv2-series-memory#dv2-series-11-15