- 综合排序
- 最热优先
- 最新优先
- 来自专栏stream process
flume-ng tmp
flume-ng 是一个分布式，高可用的日志收集系统。 Recommended) 配置JAVA_HOME变量 将解压文件路径/bin配置加入环境变量 二 命令参数 Usage: /home/dongxiao.yang/apache-flume-1.4.0-bin/bin/flume-ng channels = channel1 agent1.sinks.sink1.channel = channel1 agent1.sinks.sink2.channel = channel1 启动命令格式： flume-ng
1.4K20发布于 2020-03-04 - 来自专栏开源部署
Flume-ng配置
首先下载flume-ng的二进制压缩文件。地址：http://flume.apache.org/download.html。下载好后，解压文件。 agent.sources.fileSink.sink.directory = /home/aaron/ agent.sources.fileSink.serializer.appendNewline = true 在master上面运行命令： $ bin/flume-ng /conf/ -f conf/flume-maste.conf -Dflume.root.logger=DEBUG,console -n agent $ bin/flume-ng agent --conf /conf/ -f conf/flume-maste.conf -Dflume.root.logger=DEBUG,console -n agent 在node上运行命令： $ bin/flume-ng /conf/ -f conf/flume-node.conf -Dflume.root.logger=DEBUG,console -n agent $ bin/flume-ng agent --conf
56940编辑于 2022-06-29 - 来自专栏stream process
flume-ng 使用spool source 传输文件到hdfs
archive.cloudera.com/cdh4/cdh/4/flume-ng-1.4.0-cdh4.6.0/FlumeUserGuide.html 本文档主要用来记录如何在日志服务器和hdfs服务器端利用flume-ng JAVA_HOME:$PATH export PATH=/home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/bin:$PATH 二 程序参数配置 flume-ng (具体路径参考实际情况) 1 flume-ng默认程序最大内存为20m，打开解压文件路径下的/home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/conf 运行前需要先为flume-ng赋予可执行权限：chmod 777 flume-ng。 在bin目录下运行命令 ,程序即可执行。 flume-ng agent --conf /home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/conf --conf-file /home/dongxiao.yang
82220发布于 2020-03-04 - 来自专栏微服务生态
Flume-NG源码分析-整体结构及配置载入分析
Paste_Image.png 三、flume-ng启动文件介绍 ################################ # constants #################### run_flume $FLUME_TOOLS_CLASS $args else error "This message should never appear" 1 fi 这是其中最主要的一部分flume-ng 四、从Flume-NG启动过程开始说起 从bin/flume-ng这个shell脚本可以看到Flume的起始于org.apache.flume.node.Application类，这是flume的main parser.parse(options, args); if (commandLine.hasOption('h')) { new HelpFormatter().printHelp("flume-ng /bin/flume-ng agent -n agent -c conf -f conf/hw.conf -Dflume.root.logger=INFO,console 里面的-n -f等参数都是在上面代码中校验的
1.4K40发布于 2018-08-22 - 来自专栏智能大数据分析
Hadoop 2.0 大家族（四）
解： 对于问题①，直接在iClient上执行如下命令即可： [root@iClient ~]# flume-ng #查看 agent -c /etc/flume-ng/ -f /etc/flume-ng/conf/flume.conf -n a1 此时，接收端cMaster已经配置好并开启了，接下来需要开启发送端，在 在cMaster上开启Flume，其中“flume-ng … a1”命令表示使用flume.conf.hdfs配置启动Flume，参数a1即是配置文件里第一行定义的那个a1。 agent -c /etc/flume-ng/ -f /etc/flume-ng/conf/flume.conf.hdfs -n a1 最后，在iClient上开启发送进程，与上一条命令类似，这里的 a1，即flume.conf.exce定义的a1： [root@iClient ~]# flume-ng agent -c /etc/flume-ng/ -f /etc/flume-ng/conf/flume.conf.exce
25600编辑于 2025-01-22 - 来自专栏大数据-Hadoop、Spark
Flume的安装与综合使用
flume-env.sh.template flume-env.sh vi flume-env.sh export JAVA_HOME=/home/hadoop/app/jdk1.8.0_144 5.检测: flume-ng 3.启动agent flume-ng agent \ --name a1 \ --conf $FLUME_HOME/conf \ --conf-file $FLUME_HOME/conf/example.conf \ -Dflume.root.logger=INFO,console 4.另开窗口，使用telnet进行测试： telnet hadoop 44444 5.输入测试文字，在flume-ng agent conf/exec-memory-logger.conf \ -Dflume.root.logger=INFO,console 3.新开窗口echo hello >> flume-data.log，在flume-ng A上开启一个窗口，人工模拟往日志文件里输入内容 ➜ echo ccccc >> flume-data.log ➜ echo 123456789 >> flume-data.log 7.在服务器B的flume-ng
76460发布于 2018-04-26 - 来自专栏Java学习中
关于 Flume
Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景 当前Flume有两个版本： Flume 0.9X版本的统称Flume-og Flume1.X版本的统称Flume-ng 由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分 运行机制 1、要想使用Flume，就需要运行Flume代理。 FLUME_HOME=/opt/flume/flume-1.8.0 export PATH=$PATH:$FLUME_HOME/bin 保存后，加载生效 source /etc/profile 查看版本 flume-ng version 出现问题 image.png 解决方案 1、修改 Flume 的 flume-ng 文件 vim flume-ng 2、编辑内容 local HBASE_JAVA_LIBRARY_PATH
61850编辑于 2022-02-09 - 来自专栏大数据成神之路
打通实时流处理log4j-flume-kafka-structured-streaming
log4j.appender.flume.Port = 44444 log4j.appender.flume.UnsafeMode = true kafka broker启动 提前创建好topic【不是必须的】 flume-ng create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic default_flume_topic flume-ng avro-memory-kafka.sources.avro-source.channels = momory-channel avro-memory-kafka.sinks.kafka-sink.channel = momory-channel 启动flume-ng $ nohup flume-ng agent --conf conf --conf-file conf/avro-memory-kafka.conf --name avro-memory-kafka
69540发布于 2020-05-20 - 来自专栏迁移内容
Flume监听端口，输出端口数据案例
描述和配置source channel sink之间的连接关系 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 3、运行命令 bin/flume-ng PS：flume的启动命令可以使用以下两种方式 bin/flume-ng agent --conf conf --conf.file example.conf --name a1 -Dflume.root.logger =INFO,console bin/flume-ng agent -n $agent_name -c conf -f conf/flume-conf.properties.template
2.6K31编辑于 2022-12-01 - 来自专栏技术专栏
Flume学习笔记
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_91.jdk/Contents/Home 检测 $FLUME_HOME/bin/flume-ng Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 启动Agent flume-ng Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 启动agent flume-ng avro-memory-logger.sources.avro-source.channels = memory-channel avro-memory-logger.sinks.logger-sink.channel = memory-channel 先启动agent flume-ng /conf \ --conf-file $FLUME_HOME/conf/avro-memory-logger.conf \ -Dflume.root.logger=INFO,console 再启动 flume-ng
48510发布于 2018-09-12 - 来自专栏devops_k8s
Flume简介及配置实战 Nginx日志发往Kafka
/bin/flume-ng agent --conf .. /bin/flume-ng agent --conf .. /bin/flume-ng agent --conf .. 5.5 在Flume中如何修改,丢弃,按预定义规则分类存储数据 这里你需要利用 Flume 提供的拦截器（Interceptor）机制来满足上述的需求了，具体请参考下面几个链接： （1）Flume-NG .com/posts/2014/04/15/flume-interceptor/ （3）Flume-ng生产环境实践（四）实现log格式化interceptor http://blog.csdn.net
1.6K30发布于 2021-10-28 - 来自专栏一点博客
Flume日志收集系统
当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。 Flume-ng最明显的改动就是取消了集中管理配置的 Master 和 Zookeeper，变为一个纯粹的传输工具。 Flume-ng另一个主要的不同点是读入数据和写出数据由不同的工作线程处理（称为 Runner）。在 Flume-og 中，读入线程同样做写出工作（除了故障重试）。
1.2K20编辑于 2022-03-29 - 来自专栏Debian中国
高性能日志采集工具 logpipe 简单介绍
开源主流解决方案是基于 flume-ng，但在实际使用中发现 flume-ng 存在诸多问题。 比如 flume-ng 的 spoolDir 采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集，不能满足采集时效性要求，如果要采集正在被不断追加的日志文件，只能用 exec 采集器搭配 tail 异步意味着不影响应用输出日志的性能，实时意味着一有日志立即采集，很多日志采集工具如 flume-ng、logstash 介绍文档通篇不提采集方式是否实时还是周期性的，这很关键。
1.7K20发布于 2018-12-21 - 来自专栏LhWorld哥陪你聊算法
Flume篇---Flume安装配置与相关使用
/flume-ng version 5、配置环境变量 export FLUME_HOME=/home/apache-flume-1.6.0-bin 3.2 Source、Channel、Sink agent -n a1 -c conf -f simple.conf -Dflume.root.logger=INFO,console 指定配置目录 flume-ng agent -n a1 -f op5 agent -n a1 -c conf -f avro.conf -Dflume.root.logger=INFO,console 再启动node01的Flume flume-ng /flume-ng version 5、配置环境变量 export FLUME_HOME=/home/apache-flume-1.6.0-bin Source、Channel、Sink有哪些类型 agent -n a1 -c conf -f avro.conf -Dflume.root.logger=INFO,console 再启动node01的Flume flume-ng
1.9K30发布于 2018-09-13 - 来自专栏大数据-Hadoop、Spark
Flume整合Kafka实时收集日志信息
exec-memory-logger.sources.exec-source.channels = memory-channel exec-memory-logger.sinks.logger-sink.channel = memory-channel 3/启动flume-ng agent flume-ng agent \ --name exec-memory-logger \ --conf $FLUME_HOME/conf \ --conf-file $FLUME_HOME exec-memory-kafka.sources.exec-source.channels = memory-channel exec-memory-kafka.sinks.kafka-sink.channel = memory-channel 4/启动flume-ng agent flume-ng agent \ --name exec-memory-kafka \ --conf $FLUME_HOME/conf \ --conf-file $FLUME_HOME/
1.3K30发布于 2018-06-14 - 来自专栏数据之美
Flume NG 简介及配置实战
/bin/flume-ng agent --conf .. /bin/flume-ng agent --conf .. /bin/flume-ng agent --conf .. 这里你需要利用 Flume 提供的拦截器（Interceptor）机制来满足上述的需求了，具体请参考下面几个链接： （1）Flume-NG源码阅读之Interceptor(原创) http: /flume-interceptor/ （3）Flume-ng生产环境实践（四）实现log格式化interceptor http://blog.csdn.net/rjhym/article/
2.2K90发布于 2018-02-24 - 来自专栏码客
大数据环境搭建-Flume
1.9.0-bin export PATH=$PATH:$FLUME_HOME/bin 配置生效 source /etc/profile 查看是否生效 echo $FLUME_HOME 查看flume版本 flume-ng agent a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 新建/root/data目录 mkdir /root/data 启动agent flume-ng root/data/目录下准备数据 vi /root/data/study.txt 内容如下 good good study day day up 启动agent 如果HDFS没有启动要先启动HDFS flume-ng a.channels.c1.transactionCapacity = 100 # 组装 a.sources.r1.channels = c1 a.sinks.k1.channel = c1 启动 flume-ng 100 # 组装 a.sources.r1.channels = c1 a.sinks.k1.channel = c1 在hbase中创建log表 create 't_log','cf1' 启动 flume-ng
52040编辑于 2022-04-27 - 来自专栏数据湖
如何卸载CDH7.1.1
/batch_cmd node.list "yum remove 'cloudera-manager-*' avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 /batch_cmd.sh node.list "rm -rf /tmp/.scm_prepare_node.lock" 4.移除用户数据 在所有节点删除用户数据目录 rm -rf /var/lib/flume-ng /lib/hbase /usr/lib/hue /usr/lib/oozie /usr/lib/sqoop* /usr/lib/zookeeper /usr/lib/bigtop* /usr/lib/flume-ng /usr/lib/hcatalog /var/run/hadoop* /var/run/flume-ng /var/run/cloudera* /var/run/oozie /var/run/sqoop2
1.2K21发布于 2020-10-15 - 来自专栏云计算linux
安装数据采集软件Flume
HADOOP_HOME=/bigdata/server/hadoop export PATH=$PATH:$HADOOP_HOME/bin # 加载配置文件 source /etc/profile flume-ng sources.r1.channels = c1 a1.sinks.k1.channel= c1 运行数据采集命令 # 进入到Flume的目录 cd /bigdata/server/flume bin/flume-ng name a1 --conf-file jobs/log_file_to_hdfs.conf -Dflume.root.logger=INFO,console # 后台启动运行 nohup bin/flume-ng
26810编辑于 2024-12-07 - 来自专栏猿码优创
Flume安装及部署
进入flume目录： cd /kingyifan/flume/apache-flume-1.8.0-bin 查询flume版本命令：flume-ng version 启动flume ? 命令：flume-ng agent --conf conf --conf-file conf/flumeList.conf --name a1 -Dflume.root.logger=INFO,console 命令：flume-ng agent --conf conf --conf-file conf/flumeOne.conf --name a1 -Dflume.root.logger=INFO,console flume-ng agent --conf conf --conf-file conf/duankou.conf --name a1 -Dflume.root.logger=INFO,console 进入flume目录: cd /kingyifan/flume/apache-flume-1.8.0-bin 后台启动flume: flume-ng agent --conf conf --conf-file
2.4K30发布于 2019-07-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号