我在dataproc集群中启用了以下策略
**"dataproc:dataproc.logging.stackdriver.enable": "true",
"dataproc:dataproc.logging.stackdriver.job.driver.enable": "true",
"dataproc:dataproc.monitoring.stackdriver.enable": "true",**
"dataproc:efm.mapreduce.shuffle": "hcfs",
"dataproc:efm.spark.shuffle": "primary-worker",
"dataproc:job.history.to-gcs.enabled": "true",
**"dataproc:yarn.log-aggregation.enabled": "true"**但是我没有从dataproc.googleapis.com那里得到工作日志。但我拿到了纱线原木。如果可以从dataproc和纱线日志中获得作业日志,请告诉我。谢谢。
发布于 2022-10-06 20:35:07
如果启用了问题中显示的参数,则可以同时获得数据记录和纱线日志。
https://stackoverflow.com/questions/73860121
复制相似问题