回答情况：
提问时间：
问题标签：
.
$ python generate_custom_image.py --image-name 1.5.48-ubuntu18-custom --dataproc-version 1.5.48-ubuntu18--customization-script my-customization-script.sh --zone us-central1 --gcs-bucket gs://dataproc-327519='gs://dataproc-327519-imgs', image
浏览 3修改于2021-10-10得票数 2
回答已采纳
我在dataproc集群中启用了以下策略 "dataproc:dataproc.logging.stackdriver.job.driver.enable": "true",
"dataproc:dataproc.monitoring.stackd
浏览 6修改于2022-10-02得票数 2
回答已采纳
GCP Dataproc提供了用于火花批处理的无服务器(Dataproc Serverless)和临时集群(Dataproc Workflow模板)。如果Dataproc无服务器可以隐藏基础设施的复杂性，那么我想知道通过Dataproc工作流使用Dataproc临时集群进行火花批处理的业务用途是什么？
浏览 5提问于2022-08-31得票数 0
我正在尝试创建处理大数据集的ML模型。我的问题更多地与这些大数据集的预处理有关。在这个意义上，我想知道使用Dataprep或Tensorflow进行预处理有什么不同。
浏览 1修改于2018-03-14得票数 1
回答已采纳
我尝试通过气流和Google创建Dataproc集群，而集群的创建始终失败。','dataproc-poc',schedule_interval) # Delete Cloud Dataproc cluster# delete_dataproc
浏览 0修改于2020-09-22得票数 3
回答已采纳
在一个新的GCP项目中，我创建了一个Dataproc集群，并创建了一个具有"Dataproc Viewer“角色的用户(在otehrs中)。这个用户现在可以成功地执行gcloud dataproc clusters list，并显示集群列表。云控制
浏览 0提问于2020-04-24得票数 1
回答已采纳
我有一个问题，如何获得路径/url的文件位于dataproc hdfs？我希望基于位于dataproc中的文件运行一个M/R作业。
浏览 4修改于2021-09-27得票数 2
回答已采纳
我需要一个关于在Dataproc上设置Zookeeper集成的建议。手头的场景是一个项目，它将有3个长期运行的Dataproc集群，以及每个作业动态创建的许多临时集群。我知道我可以将Zookeeper组件添加到每个Dataproc集群，但是如何创建由多个集群组成的集成呢？
浏览 15修改于2020-07-29得票数 0
由于我们的业务需求，我们必须使用静态、长时间运行的持久性Dataproc集群。是否有任何方法来升级Dataproc映像以利用最新的OS/OSS更新？
浏览 5提问于2019-12-03得票数 4
回答已采纳
我正在尝试向google dataproc集群提交一个pyspark，并且我想在命令行中指定pyspark配置的属性。文档说我可以用--properties标志指定这些属性。我尝试运行的命令如下所示：我
浏览 22修改于2018-02-20得票数 1
当我去https://cloud.google.com/dataproc的时候，我看到了这个...Dataproc是一种完全托管且高度可扩展的服务，用于运行Apache Spark、Apache Flink、Presto和30+开源工具和框架。但是gcloud dataproc jobs submit并没有列出所有的内容。~ gcloud dataproc jobs submit
ERROR: (gcloud.dataproc.jobs.submit) Command nam
浏览 34提问于2021-10-01得票数 3
回答已采纳
我有一个bash脚本来在GCP中创建dataproc集群，并且想知道是否可以在同一个脚本中添加删除保护，以便默认启用删除保护。我尝试在脚本中添加--删除-保护，但是得到了这个错误：
错误：(gcloud.beta.dataproc.clusters.create)不可识别的参数：--删除-保护
浏览 2提问于2022-09-27得票数 2
如何在从现有集群的模板(即yaml文件)创建dataproc集群时更改群集映像版本？在这里，我现有的集群有一个旧版本的dataproc映像，但是我想在新集群中使用最新的映像。是否可以这样做呢？
浏览 2提问于2020-03-25得票数 1
回答已采纳
我正在尝试创建一个dataproc集群，它将dataproc连接到pubsub。我需要在spark.jars标志中添加多个集群创建的jars--initialization-actions gs://goog-datapr
浏览 8提问于2021-11-27得票数 2
回答已采纳
我正试图通过terraform在GCP中建立一个私有的dataproc集群(1M，2w)。它还应该需要可选的组件，如docker、anaconda和jupyter。software_config {
override_properties = { }
浏览 3修改于2020-03-06得票数 2
回答已采纳
当使用Web或gcloud创建gcloud集群时，会得到相同的错误：
gcloud dataproc --region us-west1 clusters create cluster-02eb --subnethttps://www.googleapis.com/auth/cloud-platform' --project projectxyz123 --initialization-actions 'gs://dataproc-initialization-actionsER
浏览 4提问于2017-11-13得票数 1
回答已采纳
我正在使用dataproc提交工作的火花。然而，在火花提交时，非火花参数被解读为火花参数！gclouddataproc jobs submit spark \--region us-east1 \
--properties d
浏览 0提问于2019-06-10得票数 3
回答已采纳
从提供的数据处理文档中可以看出：
为此，在Compute中，我能够为集群的VM创建一个计划来阻止它们。尽管通过使用此方法，VM通过此计划停止，但我仍然看到DataProc中的集群“正在运行”。
我还在承受成本吗？如果是，在DataProc中是否有类似的时间表可供选择？
浏览 2修改于2021-09-07得票数 2
回答已采纳
我使用的是Apache或GeoSpark (很难理解如何在python代码中配置和使用它们)
WARN org.apache.spark.sql.execution.datasources.SharedInMemoryCache: Evicting
浏览 17修改于2021-10-09得票数 0
我试图在运行Presto的集群上提交一个带有postgresql连接器的dataproc作业。集群被初始化如下： --project=${PROJECT} \gcloud beta dataproc jobs submit presto \ --region ${在运行create群集时，会出现以下错误：
浏览 0修改于2019-08-28得票数 3
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号