我正在使用flume导入TWITTER数据。
我在我的flume conf中添加了以下一行:
TwitterAgent.sources.Twitter.keywords = hadoop, big data, analytics, bigdata, cloudera, data science, data scientiest, business intelligence, mapreduce, data warehouse, data warehousing, mahout, hbase, nosql, newsql, businessintelligence, cloudcomputing
但是flume忽略了这一行!
Flume总是从twitter导入所有数据,而不是通过关键字指定和过滤。
我怎样才能让过滤开始工作?
发布于 2014-06-17 05:54:33
遵循以下链接:https://github.com/cloudera/cdh-twitter-example/tree/master/flume-sources
使用这个类:
com.cloudera.flume.source.TwitterSource
顺便说一下,重新编译JAR,不要使用预构建的版本:)
编辑:要重新编译,请按照链接的第1节:
要从git存储库的根构建:
cd flume-sources
mvn package
cd .. 这将在目标目录中生成一个名为Flume-Source-1.0SNAPSHOT.jar的文件。
https://stackoverflow.com/questions/24245867
复制相似问题