dfs.blocksize，file.blocksize，kfs.blocksize等在hadoop工作中有什么作用？

Question

当我检查hadoop (版本0.21.0) mapreduce作业的job.xml文件时，我发现存在多个blocksize设置：

• dfs.blocksize = 134217728 (即128)
• file.blocksize = 67108864 (即64)
• kfs.blocksize = 67108864
• s3.blocksize = 67108864
• s3native.blocksize = 67108864
• ftp.blocksize = 67108864

我期望得到一些答案来解释以下相关问题：

1. 在这个语境中，dfs、file、kfs、s3等是什么意思？
2. 他们之间有什么不同？
3. 当运行mapreduce作业时，它们有什么效果？

非常感谢!

Answer 1

Map还原可以处理存储在不同类型的存储上的数据，上面的systems.The设置是使用的存储技术的默认块大小。dfs(分布式文件系统)是我们在hadoop中常用的默认块大小128 is。其他设置包括文件(本地)、kfs(kosmos分布式文件系统)、s3(亚马逊云存储)和ftp (ftp服务器上的文件)。

您可以进一步研究它们，以便更好地理解它们，并将它们与运行映射减少作业的hadoop features.While一起使用，为所使用的特定存储技术的设置确定块大小。希望能帮上忙。