问Apache Nifi -使用Kafka +合并内容+放置HDFS以避免小文件
EN

Stack Overflow用户

提问于 2018-07-18 21:39:07

回答 1查看 1.1K关注 0票数 5

我在Kafka主题中有大约2000000条消息，我想使用NiFi将这些记录放到HDFS中，所以我使用PutHDFS处理器和ConsumeKafka_0_10，但它在HDFS中生成小文件，所以我使用合并内容处理器在推送文件之前合并记录。

如果配置需要更改，请提供帮助。这适用于少量消息，但在涉及海量数据的主题时，会为每条记录写入一个文件。

谢谢你！！

回答已采纳

发布于 2018-07-18 22:04:59

最小条目数设置为1，这意味着它可以具有从1到最大条目数之间的任何值。试着让它变得更高，比如100k。

票数 5

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/51403511

复制

相似问题

问Apache Nifi -使用Kafka +合并内容+放置HDFS以避免小文件EN