Hadoop每个文件的数据块大小

Question

在Hadoop书中，我们可以在创建文件时指定每个文件的块大小。

增加拆分大小的最自然方法是在HDFS中使用更大的数据块，方法是设置dfs.block.size，或者在文件构造时以文件为单位。

你知道如何在文件构建时做到这一点吗？我希望通过将其设置为value = file-size，文件将不会被分割

Answer 1

您可以使用CLI：

hadoop fs -D dfs.block.size=file-size -put local_name remote_location

或者，当您想要创建或复制文件时，可以使用Java API指定dfs.block.size。

Configuration conf = new Configuration();
conf.setInt("dfs.block.size",file-size);