文章/答案/技术大牛

发布

社区首页 >问答首页 >datanode如何知道写入管道中的下一个datanode？

问datanode如何知道写入管道中的下一个datanode？
EN

Stack Overflow用户

提问于 2019-09-17 20:42:41

回答 1查看 91关注 0票数 0

“白色，汤姆；Hadoop:明确指南；第3章，Hadoop分布式文件系统，文件编写的解剖”：

...The DataStreamer将数据包流到管道中的第一个datanode，后者存储每个数据包，并将其转发到管道中的第二个datanode。类似地，第二个datanode存储包并将其转发到第三个(也是最后一个) datanode中的.

它不知道datanode如何知道哪一个是下一个datanode，它必须在哪里发送数据包。

hadoop

hdfs

datanode

回答 1

Stack Overflow用户

发布于 2019-09-18 00:36:20

Namenode知道所有的datanode和齿条放置。达达诺斯不知道彼此的事。

客户端在写入过程中首先与Namenode联系，然后发送datanode地址以进行副本写入。

关于使用的地址，

HDFS的放置策略是，如果写入器位于datanode上，则将一个副本放在本地计算机上，否则放置在与写入器相同的机架上的随机datanode上，将另一个副本放置在不同(远程)机架的节点上，最后一个副本放置在同一远程机架的不同节点上。

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Replica_Placement:_The_First_Baby_Steps

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/57981804

复制

相似问题

问datanode如何知道写入管道中的下一个datanode？
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问datanode如何知道写入管道中的下一个datanode？EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问datanode如何知道写入管道中的下一个datanode？
EN