如何在cloudera-quickstart-vm上检查Spark (独立)服务的状态？

Question

我正在尝试获取在本地虚拟机上运行的Spark (独立)服务上运行的服务的状态，即spark-master和spark-slaves

但是，运行sudo service spark-master status不起作用。

有人能提供一些关于如何检查Spark服务状态的提示吗？

Answer 1

我使用jps -lm作为工具来获取机器上任何JVM的状态，包括Spark的状态。有关-lm命令行选项的更多详细信息，请参阅jps documentation。

但是，如果您想过滤掉真正属于Spark的JVM进程，那么您应该通过管道将其过滤出来，并使用特定于操作系统的工具，比如grep。

➜  spark git:(master) ✗ jps -lm
999 org.apache.spark.deploy.master.Master --ip japila.local --port 7077 --webui-port 8080
397
669 org.jetbrains.idea.maven.server.RemoteMavenServer
1198 sun.tools.jps.Jps -lm

➜  spark git:(master) ✗ jps -lm | grep -i spark
999 org.apache.spark.deploy.master.Master --ip japila.local --port 7077 --webui-port 8080

您也可以查看./sbin/spark-daemon.sh status，但我对该工具的了解有限，并不是一个推荐的工具。

当您使用sbin下的脚本启动Spark Standalone时，PID默认存储在/tmp目录中。./sbin/spark-daemon.sh status可以读取它们，并为你做“样板”，即状态为PID。

➜  spark git:(master) ✗ jps -lm | grep -i spark
999 org.apache.spark.deploy.master.Master --ip japila.local --port 7077 --webui-port 8080

➜  spark git:(master) ✗ ls /tmp/spark-*.pid
/tmp/spark-jacek-org.apache.spark.deploy.master.Master-1.pid

➜  spark git:(master) ✗ ./sbin/spark-daemon.sh status org.apache.spark.deploy.master.Master 1
org.apache.spark.deploy.master.Master is running.

Answer 2

ps -ef | grep spark处理所有pids的详细信息