问如何计算Hadoop存储空间？
EN

Stack Overflow用户

提问于 2018-08-09 19:50:46

回答 1查看 181关注 0票数 0

我不确定我的计算是否正确，但例如，我使用Hadoop默认设置，我想计算我可以在集群中存储多少数据。例如，我为HDFS存储分配了12个节点和每个节点8TB的总磁盘空间。

是否仅计算12/8 = 1.5 TB？

回答已采纳

发布于 2018-08-09 20:09:04

您没有将处理这些数据的复制因素和开销包括在内。另外，如果所有磁盘都快满了，Hadoop将不会运行

因此，8 TB将首先除以3(未启用新的擦除编码)，然后除以节点数量

但是，从技术上讲，您不可能达到100%的HDFS使用率，因为一旦使用率超过85%，服务就会开始失败，所以实际上，您的起始值应该是7TB

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/51766279

复制

相似问题

问如何计算Hadoop存储空间？EN