太多小文件HDFS Sink水槽

Question

agent.sinks=hpd
agent.sinks.hpd.type=hdfs
agent.sinks.hpd.channel=memoryChannel
agent.sinks.hpd.hdfs.path=hdfs://master:9000/user/hduser/gde
agent.sinks.hpd.hdfs.fileType=DataStream
agent.sinks.hpd.hdfs.writeFormat=Text
agent.sinks.hpd.hdfs.rollSize=0
agent.sinks.hpd.hdfs.batchSize=1000
agent.sinks.hpd.hdfs.fileSuffix=.i  
agent.sinks.hpd.hdfs.rollCount=1000
agent.sinks.hpd.hdfs.rollInterval=0

我试图使用HDFS Sink将事件写入HDFS。并且已经尝试了尺寸，计数和时间基滚动，但是没有一个像预期的那样工作。它在HDFS中生成了太多的小文件，例如：

-rw-r--r--   2 hduser supergroup      11617 2016-03-05 19:37 hdfs://master:9000/user/hduser/gde/FlumeData.1457186832879.i
-rw-r--r--   2 hduser supergroup       1381 2016-03-05 19:37 hdfs://master:9000/user/hduser/gde/FlumeData.1457186832880.i
-rw-r--r--   2 hduser supergroup        553 2016-03-05 19:37 hdfs://master:9000/user/hduser/gde/FlumeData.1457186832881.i
-rw-r--r--   2 hduser supergroup       2212 2016-03-05 19:37 hdfs://master:9000/user/hduser/gde/FlumeData.1457186832882.i
-rw-r--r--   2 hduser supergroup       1379 2016-03-05 19:37 hdfs://master:9000/user/hduser/gde/FlumeData.1457186832883.i
-rw-r--r--   2 hduser supergroup       2762 2016-03-05 19:37 hdfs://master:9000/user/hduser/gde/FlumeData.1457186832884.i.tmp

请协助解决给定的问题。我用的是水槽1.6.0

~谢谢

Answer 1

我提供的配置都是正确的。这种行为背后的原因是HDFS。我有两个数据节点，其中一个被关闭了。因此，文件没有达到最低要求的复制。在水槽日志中，也可以看到下面的警告消息：

“检测到阻止复制.旋转文件.”

若要消除此问题，可选择下列任何一种解决方案：

• 在数据节点上完成所需的块复制，或
• 相应地设置属性hdfs.minBlockReplicas。

~谢谢

Answer 2

现在，您正在滚动每1000项的文件。您可以尝试下面提到的两种方法之一。

1. 尝试将hdfs.rollCount提高到更高的值，此值将决定每个滚动文件中包含的事件数。
2. 删除hdfs.rollCount并将hdfs.rollInterval设置为要滚动文件的间隔。假设hdfs.rollInterval = 600每10分钟滚动一次文件。

有关更多信息，请参阅水槽文件