HDFS分块

Question

我的Hadoop知识是4周前的。我用的是一个沙箱和Hadoop。

根据这一理论，当一个文件被复制到HDFS文件系统中时，它将被分割为128 MB块。然后将每个块复制到不同的数据节点中，然后复制到数据节点中。

问题：

1. 当我将数据文件(~500 MB)从本地文件系统复制到HDFS (put命令)时，HDFS (-ls命令)中仍然存在整个文件。我本来想看到128 MB的块。我在这里做错什么了？
2. 如果假设我设法在HDFS中拆分和分发数据文件，是否有一种将原始文件组合并检索回本地文件系统的方法？

Answer 1

1. 您将看不到-ls命令中的各个块。这些在逻辑上相当于硬盘上没有出现在Linux的ls或Windows中的块。您可以在命令行(如hdfs fsck /user/me/someFile.avro -files -blocks -locations )上这样做，也可以使用NameNode UI查看哪些主机具有文件的块，以及在哪个主机上复制每个块。
2. 好的。您只需执行类似于hdfs dfs -get /user/me/someFile.avro的操作，或使用HUE或NameNode UI下载文件。所有这些选项都会将适当的块流到您，以便将逻辑文件组装回一起。