如何分发Apache Flume 1.4

Question

我看过Apache Flume 1.4文档，并不清楚如何跨节点分发工作。我必须从多个来源获取数据，并为每个来源提取多个查询条件，并需要定期轮询它们。用于flume-master和Flume -node的旧版本flume。Cloudera发布说明称，这些概念已被代理取代。但是如何分配代理呢？

我应该在每个节点上手动创建多个配置，然后在每个节点上启动代理吗？或者可以通过任何集中机制来完成？

Answer 1

您可以在Cloudera Manager中配置Flume代理-请参阅Cloudera documentation (添加Flume一节)。如果你不使用Cloudera，可以使用通用的配置管理工具来解决这个问题，比如Puppet -它看起来更灵活，尽管需要更多的努力。