Flume-ng:将日志文件从本地复制到HDFS的源路径和类型

Question

我正在尝试使用local将一些日志文件从HDFS复制到flume-ng。source是/home/cloudera/flume/weblogs/，sink是hdfs://localhost:8020/flume/dump/。cron作业将把日志从tomcat服务器复制到/home/cloudera/flume/weblogs/，并且我希望记录要复制到HDFS的文件，因为这些文件可以在/home/cloudera/flume/weblogs/中使用flume-ng。下面是我创建的conf文件：

agent1.sources= local
agent1.channels= MemChannel
agent1.sinks=HDFS

agent1.sources.local.type = ???
agent1.sources.local.channels=MemChannel

agent1.sinks.HDFS.channel=MemChannel
agent1.sinks.HDFS.type=hdfs
agent1.sinks.HDFS.hdfs.path=hdfs://localhost:8020/flume/dump/
agent1.sinks.HDFS.hdfs.fileType=DataStream
agent1.sinks.HDFS.hdfs.writeformat=Text
agent1.sinks.HDFS.hdfs.batchSize=1000
agent1.sinks.HDFS.hdfs.rollSize=0
agent1.sinks.HDFS.hdfs.rollCount=10000
agent1.sinks.HDFS.hdfs.rollInterval=600
agent1.channels.MemChannel.type=memory
agent1.channels.MemChannel.capacity=10000
agent1.channels.MemChannel.transactionCapacity=100

我无法理解：

( 1) agent1.sources.local.type = ???的值是什么? 2)在上面的conf文件中提到source路径/home/cloudera/flume/weblogs/是什么？( 3)在上面的conf文件中有没有遗漏什么？

请让我知道这些。

Answer 1

您可以使用以下两种方法：

一个 Exec源并使用一个命令(即在您的文件上使用cat /Exec源)

读取目录中所有文件的或 假脱机目录源