我尝试了spark.eventlog.dir=false,然后火花历史服务器没有显示与此相关的任何信息。
当spark.eventlog.dir设置为false时,作业历史服务器是否有类似于Spark的应用程序相关信息显示的类似方式?
发布于 2022-10-13 08:00:26
如果我们将下面突出显示的属性设置为mapred-site.xml中的默认位置以外的任何位置,则可以这样做。
纱线jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi -D mapreduce.map.memory.mb=512 -D mapreduce.reduce.memory.mb=512 mapreduce.reduce.memory.mb=512 2 10
完成此操作后,作业历史服务器将无法将日志从中间done移动到dir。因为它从mapred-site.xml中配置的位置读取
https://stackoverflow.com/questions/73733152
复制相似问题