首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >对行数、列数、文件大小是否存在理论和实践上的限制?

问对行数、列数、文件大小是否存在理论和实践上的限制?
EN

Stack Overflow用户
提问于 2017-09-21 00:16:31
回答 1查看 3.3K关注 0票数 1

我无法从https://cwiki.apache.org/confluence/display/Hive/Home中找到任何有文档的限制

我猜想,行或列的数目是没有限制的。文件大小受文件系统的限制。通过正确地划分数据,我们还可以管理文件大小和文件数量。

谢谢。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-09-21 08:46:58

列数:

在这个jira中,他们成功地用15K列和20K列对ORC文件进行了测试(默认为1GB堆)。文本文件可能会存储更多的列:https://issues.apache.org/jira/browse/HIVE-7250 - jira是固定的BTW。

Max文件大小.

文件被分割成块存储,块ID是长的,最大为2^63。如果块大小为64 MB,则最大大小为512约特字节。所以,实际上是没有极限的,但是还有其他Hadoop极限。

这个问题太宽泛了,无法完全回答,但是在本文中很少有关于Hadoop可伸缩性的重要结论:http://c59951.r51.cf2.rackcdn.com/5424-1908-shvachko.pdf

名称空间限制.

命名空间由文件和目录组成。目录定义命名空间的层次结构。文件--数据容器--被分成大块(每个块128 the)。

名称节点的元数据由分层命名空间和数据节点映射块组成,后者确定物理块的位置。为了保持较高的元数据操作速度,HDFS将整个命名空间保存在RAM中。名称节点将命名空间映像及其修改日志持久存储在外部内存中,例如本地或远程硬盘驱动器。名称空间映像和日志包含HDFS文件和目录名称及其属性(修改和访问时间、权限、配额),包括文件的块ID。为了存储1亿个文件(引用2亿块),一个名称节点应该至少有60 of的RAM。

磁盘空间.

有了1亿个文件,每个文件平均有1.5个块,我们将在文件系统中拥有2亿个块。如果最大块大小为128 is,并且每个块被复制三次,那么存储这些块所需的总磁盘空间接近60 is。

集群大小.

为了容纳由1亿文件命名空间引用的数据,HDFS集群需要配备8个1TB硬盘驱动器的10,000个节点。该集群的总存储容量为60 is。

内载.

10,000个节点的HDFS集群的块报告和心跳处理的内部负载(总存储容量为60 PB )将消耗30%的名称节点处理能力。

更新:

对于Hadoop 2中的本地HDFS,所有这些都是正确的。

亚马逊S3的扩展性更强,实际上是无限的,尽管S3最终在重写和删除后的读取方面是一致的。HADOOP-13345为Amazon存储的S3A客户机添加了一个可选特性:将DynamoDB表用作文件和目录元数据的快速和一致存储的能力。

还有其他的Hadoop兼容FileSystems (HCFS)。

此外,通过支持Hadoop3.0中的擦除编码,物理磁盘使用率将减少一半(即3倍的磁盘空间消耗将减少到1.5倍),容错级别将提高50%。这一新的Hadoop3.0特性将节省Hadoop客户在硬件基础设施上的大笔费用,因为他们可以将hadoop集群的大小减少到一半,并存储相同数量的数据,或者继续使用当前hadoop集群硬件基础设施,并将数据量增加一倍给HDFS EC。阅读更多有关HDFS擦除编码和其他Hadoop3 HDFS增强。的信息。

票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/46333516

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档