我无法从https://cwiki.apache.org/confluence/display/Hive/Home中找到任何有文档的限制
我猜想,行或列的数目是没有限制的。文件大小受文件系统的限制。通过正确地划分数据,我们还可以管理文件大小和文件数量。
谢谢。
发布于 2017-09-21 08:46:58
列数:
在这个jira中,他们成功地用15K列和20K列对ORC文件进行了测试(默认为1GB堆)。文本文件可能会存储更多的列:https://issues.apache.org/jira/browse/HIVE-7250 - jira是固定的BTW。
Max文件大小.
文件被分割成块存储,块ID是长的,最大为2^63。如果块大小为64 MB,则最大大小为512约特字节。所以,实际上是没有极限的,但是还有其他Hadoop极限。
这个问题太宽泛了,无法完全回答,但是在本文中很少有关于Hadoop可伸缩性的重要结论:http://c59951.r51.cf2.rackcdn.com/5424-1908-shvachko.pdf
名称空间限制.
命名空间由文件和目录组成。目录定义命名空间的层次结构。文件--数据容器--被分成大块(每个块128 the)。
名称节点的元数据由分层命名空间和数据节点映射块组成,后者确定物理块的位置。为了保持较高的元数据操作速度,HDFS将整个命名空间保存在RAM中。名称节点将命名空间映像及其修改日志持久存储在外部内存中,例如本地或远程硬盘驱动器。名称空间映像和日志包含HDFS文件和目录名称及其属性(修改和访问时间、权限、配额),包括文件的块ID。为了存储1亿个文件(引用2亿块),一个名称节点应该至少有60 of的RAM。
磁盘空间.
有了1亿个文件,每个文件平均有1.5个块,我们将在文件系统中拥有2亿个块。如果最大块大小为128 is,并且每个块被复制三次,那么存储这些块所需的总磁盘空间接近60 is。
集群大小.
为了容纳由1亿文件命名空间引用的数据,HDFS集群需要配备8个1TB硬盘驱动器的10,000个节点。该集群的总存储容量为60 is。
内载.
10,000个节点的HDFS集群的块报告和心跳处理的内部负载(总存储容量为60 PB )将消耗30%的名称节点处理能力。
更新:
对于Hadoop 2中的本地HDFS,所有这些都是正确的。
亚马逊S3的扩展性更强,实际上是无限的,尽管S3最终在重写和删除后的读取方面是一致的。HADOOP-13345为Amazon存储的S3A客户机添加了一个可选特性:将DynamoDB表用作文件和目录元数据的快速和一致存储的能力。
还有其他的Hadoop兼容FileSystems (HCFS)。
此外,通过支持Hadoop3.0中的擦除编码,物理磁盘使用率将减少一半(即3倍的磁盘空间消耗将减少到1.5倍),容错级别将提高50%。这一新的Hadoop3.0特性将节省Hadoop客户在硬件基础设施上的大笔费用,因为他们可以将hadoop集群的大小减少到一半,并存储相同数量的数据,或者继续使用当前hadoop集群硬件基础设施,并将数据量增加一倍给HDFS EC。阅读更多有关HDFS擦除编码和其他Hadoop3 HDFS增强。的信息。
https://stackoverflow.com/questions/46333516
复制相似问题