试图在边缘节点上安装Flume,我查看了许多博客,但是没有太多的想法,因为其中大多数是指单个节点集群,有人认为在边缘节点上安装或者在服务器上安装HDFS或任何工作节点(数据节点)是个好主意,如果是,那么在边缘节点上设置这个节点的配置是什么。
发布于 2018-05-15 21:43:56
如果这是一个生产环境,那么最好避免使用NameNode服务器、资源管理器服务器、日志节点和DataNodes。这就给你留下了边缘节点。
这一进程将是:
1)安装Hadoop客户端。
2)安装水槽
3)在flume.conf文件(或任何您想要指定的名称)中配置水槽。您可以在网上找到许多示例配置。
4)使监视类型= http用于快速检查性能数据。
( 5)开放港口供资源和湖泊使用。
5)启动代理程序。
6)检查代理日志,查看所有组件的启动情况。
7)试着发送一些样本数据并检查它是否到达目的地。
8)排除任何故障。
如果你需要更多的信息,请告诉我。
发布于 2019-01-17 17:22:43
正如Viren在edge节点上的生产环境中所建议的那样,您只需要配置flume,这并不是您不能在namenode服务器上做的,但是我们需要避免出现性能问题。
https://stackoverflow.com/questions/50350329
复制相似问题