问hdfs数据倾斜，为什么文件分布不均匀？
EN

Stack Overflow用户

提问于 2016-11-30 00:41:23

回答 1查看 265关注 0票数 0

我运行一个有32个奴隶的HDFS。

每个从服务器都有大约300 not的本地磁盘空间(其余不用于HDFS)。

当我放置32 * 100 GB文件时，这些文件只被传递给一些奴隶。由于磁盘空间不足，导致任务崩溃。

我怎样才能避免这个问题？

回答已采纳

发布于 2016-11-30 01:35:16

我不是一个管理员，但这是第一件事，在我脑海中出现时，看到你的问题。

Hadoop是一个“拓扑感知”系统。请读一下，这里。

如果拓扑不正确，则HDFS写入默认复制(3x)将按顺序写入(不同机架上的随机节点->节点与第二个副本相同，但节点不同)。

检查复制因子也是好主意。希望这能有所帮助！

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/40878367

复制

相似问题

问hdfs数据倾斜，为什么文件分布不均匀？EN