为什么我们需要没有密码的Hadoop？

Question

• AFAIK，需要无密码ssh，这样主节点可以在每个从节点上启动守护进程。除此之外，在Hadoop的操作中使用无密码ssh有什么用吗？
• 用户代码jars和数据块如何在从节点之间传输？我想知道使用的机制和协议。
• 没有密码的SSH应该只配置为主从对，甚至是在奴隶之间配置？

Answer 1

你是对的。如果ssh不是无密码的，那么您必须在每台机器上手动启动所有进程。对于第二个问题，HDFS中的所有通信都是通过TCP/IP进行的，对于数据移动使用HTTP。机制是这样的：

客户端建立到NameNode计算机上可配置的TCP端口的连接。它与ClientProtocol和NameNode对话。DataNodes使用NameNode协议与DataNode对话。远程过程调用(RPC)抽象同时包装客户端协议和DataNode协议。

对于第三个问题，在从节点之间不需要有无密码的ssh。

Answer 2

对第一个问题的回答：

Hadoop核心使用Shell (SSH)在从节点上启动服务器进程。它需要主机与所有从机和辅助机器之间的无密码SSH连接。

在全分布式环境中，我们需要一个无密码的SSH，因为当集群在全分布式环境中活动和运行时，通信太频繁了。作业跟踪器应该能够快速地将任务发送到任务跟踪器。