问HDFS小文件
EN

Stack Overflow用户

提问于 2015-08-29 02:10:52

回答 1查看 63关注 0票数 1

我有一个源，有许多小文件( mb)，一些中等文件(1MB到5MB)和一些大文件(大于50MB)

现在可以选择将这些文件放入HDFS (合并文件)或HBase (作为MOBs)。就向最终用户摄取和显示文件的性能而言，推荐使用哪种方法？

发布于 2015-08-29 17:02:54

您可以将这些文件放入HDFS。但在放入HDFS之前，你可以通过运行一个MR作业来合并文件，根据你的文件大小和块大小设置reducers的数量，使用identitymapper和identityreducer，或者使用组合文件输入格式来处理它，并将其放入HDFS中。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/32277316

复制

相似问题

问HDFS小文件EN