用命令行启动和停止hadoop生态系统的最佳方法是什么？

Question

我看到有几种方法可以启动hadoop生态系统，

1. start-all.sh & stop-all.sh表示不推荐使用start-dfs.sh & start-yarn.sh。
2. start-dfs.sh, stop-dfs.sh and start-yarn.sh, stop-yarn.sh
3. hadoop-daemon.sh namenode/datanode and yarn-deamon.sh resourcemanager

编辑:我认为每个命令都必须有一些特定的用例。

Answer 1

start -all.sh & stop-all.sh :用于同时启动和停止hadoop守护进程。在主计算机上发出它将启动/停止集群所有节点上的守护进程。你已经注意到了。

start-dfs.sh、stop dfs.sh和start-yarn.sh :与上面相同，但在主计算机的所有节点上分别启动/停止HDFS和纱线守护进程。现在使用这些命令是明智的，可以重新启动-all.sh和停止-all.sh。

hadoop-daemon.sh namenode/datanode和丝-deamon.shResouremanager :手动在单个机器上启动单个守护进程。您需要转到特定的节点并发出这些命令。

用例:假设您向集群中添加了一个新的DN，并且只需要在这台机器上启动DN守护进程，

bin/hadoop-daemon.sh start datanode

注意:如果您想从一台机器启动所有节点上的所有守护进程，那么您应该启用ssh。

希望这能回答你的疑问。

Answer 2

来自Hadoop 页面，

start-all.sh 

这将启动计算机上的Namenode、Datanode、Jobtracker和Tasktracker。

start-dfs.sh

这将打开在运行命令的机器上运行Namenode的HDFS。在这样的机器上，您需要start-mapred.sh单独启动作业跟踪器。

必须在主节点上运行start-all.sh/stop-all.sh。

您将在start-all.sh上使用单节点集群(也就是说，您将在同一个node.The上拥有所有服务，namenode也是datanode，并且是主节点)。

在多节点设置中，

您将在主节点上使用start-all.sh，并在从节点上启动所需的内容。

或者，

在要在Namenode上运行的节点上使用start-dfs.sh。这将打开HDFS，在运行命令的机器上运行Namenode，在从文件中列出的机器上打开Datanodes。

在计划运行Jobtracker的机器上使用start-mapred.sh。这将在运行命令的机器上运行Jobtracker，并在从文件中列出的机器上运行Tasktracker。

Tariq所述的hadoop-daemon.sh用于每个节点。主节点不会启动slaves.In上的服务，一个节点设置，这将与start-all.sh.In一样，一个多节点设置，您必须访问每个节点(主节点和从节点)并在每个节点上执行。

查看这 start-all.sh it调用配置，后面跟着dfs和mapred

Answer 3

启动

start-dfs.sh (starts the namenode and the datanode)
start-mapred.sh (starts the jobtracker and the tasktracker)

停止

stop-dfs.sh
stop-mapred.sh