如何使用flume-node命令在同一台计算机上运行代理节点和收集器节点？

Question

我正在尝试使用Flume测试日志聚合。

在ubuntu机器host1上安装了CDH3u3 (名称节点、辅助名称节点、作业跟踪器、数据节点、任务跟踪器)和Flume (flume、flume-master和flume- node )。对于Flume安装，我关注的是https://ccp.cloudera.com/display/CDHDOC/Flume+Installation。

我想在同一个节点上运行flume master、收集器节点和代理节点。当我使用普通的flume命令时，我可以成功地运行所有这三个服务：(参考：http://ankitasblogger.blogspot.com/2011/05/installing-flume-in-cluster-complete.html )

$ flume master
$ flume node -n flume-collector
$ flume node -n flume-agent

但是，不可能使用flume-node运行两个节点

$ sudo /etc/init.d/flume-master start
$ sudo /etc/init.d/flume-node start

我不能为flume-node命令指定节点名称，它只能创建一个名为host1.host.com的节点。

如果我希望在同一台计算机上有多个节点，我应该使用flume而不是flume-master和flume-node吗？我认为flume-master和flume-node提供了更多的便利，因为它们通知日志路径，而flume记录到标准输出。

Answer 1

您不必在同一台机器上安装两个节点。您可以在flume-master上配置逻辑节点，它们可以在不同的逻辑节点上工作，这些节点只是在不同的端口上。

收集器和代理之间的区别在于它们做什么，而不是它们在哪里，它们都使用flume-node。