如何拖尾纱线原木？

Question

我正在使用下面的命令提交一个火花作业。我想使用类似于Linux机器中的tail命令操作的应用程序Id来跟踪纱线日志。

export SPARK_MAJOR_VERSION=2
nohup spark-submit --class "com.test.TestApplication" --name TestApp --queue queue1 --properties-file application.properties --files "hive-site.xml,tez-site.xml,hbase-site.xml,application.properties" --master yarn --deploy-mode cluster Test-app.jar > /tmp/TestApp.log &

Answer 1

这可不容易。

“纱线日志”并不是真的在纱线中，它们实际上在Spark的executor节点上。如果启用了纱线日志聚合，则日志位于HDFS中，并可从Spark History服务器获得。

行业部署模式是将Spark属性配置为使用日志转发器(如Filebeat、Splunk、Fluentd)写入文件，然后这些进程将数据收集到搜索引擎，如Solr、Elasticsearch、Graylog、Splunk等。通过这些工具，您可以在log4j之外大致跟踪/搜索/分析日志消息。