dfs.block.size对TeraGen的性能没有影响

Question

我在hdfs-size.xml中将dfs.block.size从64MB更改为1MB，并运行teragen来探索对作业性能的影响。然而，map任务的数量没有改变(我认为它应该变得更大，因为它等于文件大小/块大小)。而且，完成这项工作所需的时间几乎相同。正常吗？

Answer 1

TeraGen是用于生成数据的。因此，基本上这不需要输入即可为TeraSort生成数据。

所以基本上不是。在这种情况下，映射器的数量不受块大小的影响。