无法从Dataproc sparkjob访问GCP access Secret Manager

Question

我正在尝试从dataproc spark作业中获取GCP密钥管理器密码。但是我得到了错误"Exception in thread "main“java.lang.NoClassDefFoundError: com/google/cloud/secretmanager/v1/AccessSecretVersionResponse".我已经在dataproc spark作业依赖项中添加了jar "google-cloud-secretmanager-1.4.2.jar“和"gax-1.62.0.jar”。

我正在使用下面的GCP链接中提到的代码。https://cloud.google.com/secret-manager/docs/reference/libraries

我是不是漏掉了什么？

Answer 1

2.0-debian10安装了python >= 3.0。google-cloud-secretmanager-1.4.2.jar不支持python >= 3.0 (https://pypi.org/project/google-cloud-secret-manager/1.0.0/)。请使用更高版本的google-cloud-secretmanager。