回答情况：
提问时间：
问题标签：
现在，每个spark应用程序都成功地将日志写入此hdfs文件夹。
但是，该文件夹中还有其他内容，它允许您通过ssh隧道连接到Spark History Server来显示应用程序日志列表。通过EMR AWS控制台访问的Spark History Server仍然可以工作，但这并不理想，因为它明显落后于通过ssh隧道访问的Spark History Server。我还需要将哪些项目恢复到此文件夹中，以便通过ssh隧道打
浏览 2修改于2020-08-26得票数 0
有人知道如何在启动Spark History Server时在SparkConf中设置值吗？
浏览 5修改于2016-09-28得票数 3
我想使用Spark History Server API()来识别/tmp/spark-events/中某些作业写入的日志文件。
浏览 10修改于2018-11-06得票数 0
回答已采纳
我在本地集群模式下测试spark程序:我已经将我的spark.home属性设置为$SPARK_HOME (指向spark安装目录)。我已经启动了spark历史服务器，spark.history.fs.logDirectory指向文件:/tmp/spark-events。但是，当我成功执行测试并退出时。历史服务器没有显示任何内容，/tmp/spark-events文件夹是空的。如何让spa
浏览 0修改于2016-09-28得票数 4
我正在尝试按照以下说明在EKS上部署Spark History Server : https://github.com/helm/charts/tree/master/stable/spark-history-server总是崩溃，并出现http400错误： 2021-01-18 13:02:13 INFO HistoryServer:2566 - Started daemon with process n
浏览 47提问于2021-01-18得票数 0
spark_server_port = "${var.application_port}" history_server_port = "${var.history</em
浏览 1修改于2019-01-04得票数 1
回答已采纳
history server.history server instance.history server instance.": start_spark_hs_server:
command: systemctl start spark-history-serverhistory
浏览 3修改于2020-09-25得票数 0
=file:///tmp/test" --master spark://server:7077 examples/src/main/python/pi.pySPARK_DAEMON_JAVA_OPTS="-Dspark.eventLog.enabled=true -Dspark.history.fs.logDirectory=$sparkHistoryDi
浏览 12修改于2020-07-28得票数 17
/start-history-server.shspark.eventLog.enabled true7/06/29 22server ui acls disabled; users with admin permissions: ; groups with admin permissions
Exception inat org.apache.spark.deploy.history<
浏览 3修改于2017-06-30得票数 8
回答已采纳
1回答
/start-history-server.sh
但是得到了以下错误。starting org.apache.spark.deploy.history.HistoryServer, logging to /home/abc/spark/spark-1.5.1-bin-hadoop2.6/logs/spark-abc-org.apache.spark.deploy.histor
浏览 0修改于2015-12-15得票数 5
反映：SPARK_HISTORY_OPTS "-Dspark.history.fs.logDirectory=file://C:/spark-1.6.2-bin-hadoop2.6/logs"
我使用Git-BASH运行启动历史记录-se
浏览 6提问于2016-07-17得票数 0
回答已采纳
我需要访问Spark History Server，这样我就可以调整一个缓慢的spark作业的性能。我正在寻找DSX中的链接，但找不到，所以我在Bluemix控制台中打开了spark服务，并直接从那里导航到spark历史服务器(Job history链接)。有没有办法直接从DSX访问spark历史服务器？
浏览 13修改于2017-03-07得票数 1
回答已采纳
到目前为止，一切都很好:我可以通过spark-submit运行作业，也可以在localhost:4040检查正在运行的作业。但是我找不到start-history-server.sh，我需要查看已经完成的工作。
它应该在{spark}/sbin中，其中{spark}是spark的安装目录。我不知道通过conda安装spark时应该在哪里，但是我已经搜索了整个miniconda目录，并且似乎找不到start-history-server
浏览 1提问于2019-01-29得票数 3
回答已采纳
当尝试使用Powershell终端启动火花历史服务器(从我的SPARK_HOME/sbin)时通过以下消息启动windows终端，然后关闭。, logging to C:\Spark/logs/spark--org.apache.spark.deploy.history.HistoryServer-1-<my-machine>.out
ps下面是在'C:\
浏览 5修改于2020-08-26得票数 1
我遵循Apache的文档并做了所有必要的配置更改，但是当我运行submit时，我得到了以下错误：如果我能得到任何帮助，这是我的配置：
<em
浏览 2修改于2020-07-31得票数 0
api.name: spark-history-server gcp.server.property.file.path: x onprem.server.property.file.path: x preferred.id.file.path: x
server.error.whitelabel.
浏览 2修改于2022-08-10得票数 0
回答已采纳
sbin/start-history-server.sh ~/Downloads/log/app-20170416171823-0000failed to launch: nice -n 0 /usr/local/Cellar/apache-spark/2.1.0/libexec/bin/spark-class org.apache.spark.de
浏览 1提问于2017-04-17得票数 0
我已经设置了AWS Glue来输出Spark事件日志，以便它们可以导入到Spark History Server中。AWS为此提供了一个，我只想在本地运行历史服务器并导入事件日志。我的Dockerfile如下FROM ${SPARK_IMAGE}
RUN mkdir
浏览 17提问于2019-11-05得票数 1
回答已采纳
1回答
Please verify your setting of $ sudo -u hdfs hadoop fs -chown -R spark:<e
浏览 7提问于2017-10-09得票数 2
: Replaying log path: file:/tmp/spark-events/application_1460638681315_000416/04/15 09:23:01 INFO server.AbstractConnector: Started SelectChannelConnector: Replaying log
浏览 5提问于2016-04-15得票数 1
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号