- 综合排序
- 最热优先
- 最新优先
- 来自专栏精益码农
针对Fluent-Bit采集容器日志的补充
其中配置Fluent-bit使用Forward协议收集容器日志，需要在Docker-Compose App配置Loging Driver=Fluentd 实践中，存在一个小遗憾：应用了Logging Driver
1.2K30发布于 2021-02-05 - 来自专栏代码人生
fluent-bit 按 pod 名生成不同索引
实现效果 如果 pod 名为 prod，输出索引名为 prod-2021.01.24 EFK 版本：es 7.12, fluent-bit 1.7.5, kibana 7.12 2. fluent-bit 1.7 以上版本通过 output 中 Logstash_Prefix_Key 字段实现输出动态索引名 比如采集日志为 {"key1": 1234, "kubernetes": 参考： 官方说明：https://github.com/fluent/fluent-bit/issues/421#issuecomment-766912018
1.6K20编辑于 2021-12-06 - 来自专栏让技术和时代并行
一文了解日志收集工具fluent-bit
"本文主要对fluent-bit特性及使用场景介绍" 1、简介 fluent-bit是一种在Linux，OSX和BSD系列操作系统运行，兼具快速、轻量级日志处理器和转发器。 fluent-bit是此管道中是不可或缺的一部分，它可以解决日志收集需求。 作为一个开源项目，它已被广泛采用，fluent-bit能够胜任和解决docker和Kubernetes等关键组件的云服务日志记录需求。 3、fluent-bit工作原理 ? 日志收集解决方案，当前我们主要介绍fluentd和fluent-bit两个开源项目之间的关系及特性，fluentd和fluent-bit都是有Treasure Data公司赞助开发，目标是解决日志收集、 特性及功能，接下来我会分为三遍文章进行分享，分别是fluent-bit在docker和Kubernetes中的使用、fluent-bit插件使用和指令介绍、fluentd和fluent-bit在线上环境的使用
9.2K31发布于 2020-06-15 - 来自专栏我的小碗汤
fluent-bit debug调试，采集k8s podIP
有时候调试fluent-bit的配置，达到想要的输出效果，并不是件简单的事情，以下通过debug镜像调试fluent-bit采集kubernetes Pod的IP。 fluent-bit官方文档给出了用于调试的镜像：https://docs.fluentbit.io/manual/installation/docker dockerhub仓库链接为：https:// fluent-bit使用 exec进入容器可以使用/fluent-bit/bin/fluent-bit调试： /fluent-bit/bin # . /fluent-bit -h Usage: fluent-bit [OPTION] Available Options -b --storage_path=PATH specify :kube|service)\.(.*) fluent-bit-debug容器内使用以下命令启动测试： /fluent-bit/bin # .
2.2K30发布于 2021-11-02 - 来自专栏让技术和时代并行
轻量级日志收集转发 | fluent-bit指令详解（一）
fluent-bit 下面我就直接介绍fluent-bit整体收集架构和插件，如果对整体有不理解的部分，可以参考如上链接。 3、fluent-bit插件详细介绍 3.0、Input fluent-bit提供了各种各样的日志插件来收集不同来源的日志文件，比如可以从日志文件收集、操作系统收集一些度量数据。 当Input插件被加载以后，fluent-bit会在内部创建一个实例，每个实例都有自己独立的配置，这些配置我们通常称作它的属性。 从fluent-bit 1.0开始，fluent-bit提供了新的存储层，该存储层可以是内存也可以是文件系统，可以在输入插件中进行配置启用。 注意：缓存的数据不在是默认的日志数据格式，而是fluent-bit内部二进制表示形式。
8.1K33发布于 2020-06-15 - 来自专栏让技术和时代并行
轻量级日志收集转发 | fluent-bit配置详解（二）
fluent-bit 轻量级日志收集转发 | fluent-bit指令详解（一） 下面我就直接介绍fluent-bit整体收集架构和插件，如果对整体有不理解的部分，可以参考如上链接。 fluent-bit扩展了具有特定内置功能的配置文件。 从fluent-bit 0.12版本开始，我们可以按照如下进行使用。 $ bin/fluent-bit -c fluent-bit.conf Fluent-Bit v0.11.0 Copyright (C) Treasure Data [2017/04/03 12:25 如果需要处理10M数据，我们需要考虑最坏的情况，输出插件可能需要20M（fluent-bit能够内部处理二进制数据格式，故要尽量少的在fluent-bit进行数据处理），在数据没有到达influxDB或者
7.6K21发布于 2020-06-15 - 来自专栏让技术和时代并行
K8S集群模式下fluent-bit日志收集方案设计和实践
下面我就直接介绍fluent-bit整体收集架构和插件，如果对整体有不理解的部分。 fluent-bit 本身支持常见数据收集组件，比如：ES、KAFAKA 等。 image: fluent/fluent-bit:1.3 imagePullPolicy: IfNotPresent command: ["/fluent-bit /bin/fluent-bit","-c", "/fluent-bit/etc/fluent-bit.conf"] env: - name: NODE_NAME 通过设置 env 可以在 fluent-bit 运行过程中动态获取环境变量。
4K30发布于 2020-06-07 - 来自专栏让技术和时代并行
日志收集工具fluentd安装配置及使用介绍
"本文主要讲解fluent-bit和fluentd安装配置和使用介绍" 1、环境说明 两台服务器（注：Fluent-bit只支持centos 7以上版本，Fluentd可以支持centos 6版本），host1 写日志到本地，然后通过Fluent-bit支持的forward到Fluentd，Fluentd将日志集中写入host2本地存储归档。 host1，IP:12.18.7.42，CentOS 7.6 host2，IP:12.18.7.41，CentOS 7.6 2、fluent-bit安装过程 2.1、安装编译运行环境 yum install -c /usr/local/etc/fluent-bit/fluent-bit.conf Fluent Bit v1.0.4 Copyright (C) Treasure Data [2020/01 /19 11:34:39] [Warning] [config] I cannot open /usr/local/etc/fluent-bit/plugins.conf file [2020/01/19
4.4K30发布于 2020-06-15 - 来自专栏精益码农
为什么我们需要Logstash,Fluentd等日志摄取器？
Fluent-Bit是从同一项目中fok出来的，用C写成的开源日志收集器。 可通过文件或者命令行配置Fluent-Bit，下面是关键的配置节： Service：定义Fluent-Bit引擎的全局行为 Input：定义Fluent-Bit从什么地方收集数据 Parser：将非结构化日志转换为结构化日志 ，Fluent-Bit将它们转发给Elasticsearch。 小编结束语 以上就是利用Fluent-Bit从容器应用收集日志并发送到ElasticSearch的基本示例。 我们再回顾下Fluent-Bit产生的背景和特性: 如今，我们环境中的信息源在不断增加，数据收集越来越复杂，需要解决 不同的信息来源 不同的数据格式 数据可靠性 安全 灵活的路由 多个目的地 Fluent-Bit
1.5K10发布于 2020-08-25 - 来自专栏JetpropelledSnake
K8S学习笔记之使用Fluent-bit将容器标准输入和输出的日志发送到Kafka
目前大部分K8S容器日志都采用Fluent或者Fluent-bit，将日志传输到ES集群，本文主要讲使用Fluent-bit将容器的日志传输到Kafka。 0x01 部署Fluent-bit并传输到Kafka 详细请看https://github.com/fluent/fluent-bit-kubernetes-logging 1.1 创建Fluent-bit raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/output/kafka/fluent-bit-configmap.yaml 1.2 配置Fluent-bit raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/output/kafka/fluent-bit-ds.yaml 0x02 Fluent-bit 输出方向ES和Kafka https://github.com/fluent/fluent-bit-kubernetes-logging/tree/master/output 0x03 Fluent-bit
2.8K30发布于 2019-07-01 - 来自专栏让技术和时代并行
浅谈 fluentd 使用
fluent-bit 是一个用 C 写成的插件式、轻量级、多平台开源日志收集工具。它允许从不同的源收集数据并发送到多个目的地。 这两个项目有很多相似之处，fluent-bit 完全基于 fluentd 体系结构和一般设计的设计和经验。 fluent-Bit 是一个日志收集器和处理器（它没有 fluentd 等强大的聚合功能）。 至于 fluent-bit 的使用之前做过一定总结，这里不再赘述。 fluent-bit 自身具有高性能，占用内存低的特点，用的过程暂时没有发现什么问题，如果非要说问题，大多是自身使用的问题，因为使用 fluent-bit 的用户基本上都是结合 Kubernetes 进行使用的
4.8K20发布于 2020-04-28 - 来自专栏让技术和时代并行
Kubernetes集群环境下fluentd日志收集方案介绍
看到这张图片之后就被fluentd架构清晰程度吸引了； 3、fluentd和fluent-bit介绍 fluentd是一款开源的日志收集工具。 其中fluent-bit充当客户端，fluentd充当服务端，客户端定时根据某种特定策略收集日志传递到服务端，服务端存储日志，这一次不在说ES或者Kafaka，而是直接把日志文件集中收集存储磁盘文件中， 5、收集方式 每个节点以Kubernetes中DaemonSet形式运行fluent-bit，在各个节点进行日志收集，收集完成后发送到fluentd进行统一日志处理和存储。 通过sidercar方式运行fluent-bit，编写业务yaml的同时，把fluentd-bit追加进去，这种收集日志较为详尽，可以收集到pod中container信息，但是会出现跟业务耦合的问题。 通过客户端和服务端配合收集日志的使用过程，在使用过程fluentd和fluent-bit采用原生安装的方式，暂时没有通过Kubernetes pod运行，至于fluentd和fluent-bit的安装和使用过程我会尽快完善补充
2K20发布于 2020-06-15 - 来自专栏让技术和时代并行
面对海量日志，为什么选用fluentd作为核心组件？
如上图所示，在各个节点上以DaemonSet方式部署fluent-bit，fluent-bit在各个节点上收集事件、日志等信息，收集完成后发送到fluentd进行统一汇总、过滤、存储处理。 如下所示fluent-bit配置： [SERVICE] Flush 1 Daemon ON Log_Level debug [INPUT fluent-bit也是支持的，具体可以参考： 一文了解日志收集工具fluent-bit 轻量级日志收集转发 | fluent-bit指令详解（一） 轻量级日志收集转发 | fluent-bit配置详解 （二） 轻量级日志收集转发 | fluent-bit外部插件详解（三） 7、问题总结 1. 2. fluent-bit日志收集过程中出现如下文件被跳过问题如何处理？
2K40发布于 2020-06-15 - 来自专栏云原生社区
云原生架构下的日志平台方案
实现方式是每个agent挂载目录 /var/log/containers/ 使用 Fluent-bit 的tail插件扫描每个容器日志文件，直接发送给 Elasticsearch。 2.2.2 实施 1、fluent-bit采集器配置（server, input, filters and output） [fluentd_u91C7_u96C6_u5668_u914D.png] 2 、fluent-bit在kubernetes集群中的RABC权限创建 fluent-bit-service-account.yaml apiVersion: v1 kind: ServiceAccount namespace: logging 3、Fluent-bit在kubernetes集群节点以Daemonset方式部署 fluent-bit-ds.yaml apiVersion: extensions image: fluent/fluent-bit:1.2.1 imagePullPolicy: Always ports: - containerPort
2.9K21发布于 2020-12-08 - 来自专栏JAVA乐园
如何收集k8s集群日志？
filter"] endpoint = "http://elastic:9200" 性能对比： 吞吐量达到Fluentd的3倍 CPU占用降低40% 适合日均TB级日志场景 以下是一个基于Filebeat、Fluent-bit 、Elasticsearch和Kibana的日志收集架构： Node (Operating Sys) --> Filebeat (Container Logs) --> Fluent-bit (Log }" output.elasticsearch: hosts: ["localhost:9200"] setup.kibana: host: "localhost:5601" 部署 Fluent-bit Fluent-bit 用于处理和转发日志。
66210编辑于 2025-06-09 - 来自专栏大数据-BigData
sidecar收集flink pod日志到es
name: core-site # Sample sidecar container - name: fluentbit image: fluent/fluent-bit :1.8.12-debug command: [ 'sh','-c','/fluent-bit/bin/fluent-bit -i tail -p path=/flink-logs/
67220编辑于 2022-10-28 - 来自专栏伪架构师
Loki Stack：乞丐版 EFK
最后安装 Fluentbit 作为日志采集端： helm install fluent-bit loki/fluent-bit \ --set "loki.serviceName=loki-1581527457 又或者查询一个 Metrics： sum(count_over_time({job="fluent-bit"}[5m])) by (level)，统计该任务的日志生成数量： ?
1.9K30发布于 2020-02-19 - 来自专栏编码如写诗
信创：鲲鹏(arm64)+麒麟(kylin v10)离线部署k8s和kubesphere(含离线部署新方式)
2.6.0 docker pull registry.cn-beijing.aliyuncs.com/kubesphereio/busybox:latest docker pull kubesphere/fluent-bit 例如： docker pull kubesphere/fluent-bit:v2.0.6 --platform arm64 #官方ks-console:v3.3.1(arm版)在麒麟中跑不起来，据运维有术介绍 kubesphereio/kube-state-metrics:v2.5.0 896 docker tag registry.cn-beijing.aliyuncs.com/kubesphereio/fluent-bit :v2.0.6 dockerhub.kubekey.local/kubesphereio/fluent-bit:v2.0.6 # 也可重命名为v1.8.11，可省下后续修改fluent的yaml，这里采用后修改方式 一直报错，需更改为2.0.6 kubectl edit daemonsets fluent-bit -n kubesphere-logging-system #修改其中fluent-bit版本1.8.11
2.5K12编辑于 2024-08-30 - 来自专栏运维一切
Kubernetes DaemonSet的滚动升级
目前我们的线上环境主要用到以下两个DaemonSet： kube-flannel-ds 这个是部署Kubernetes集群时选用的是flannel network add-on fluent-bit 这个是用来在部署在各个 我们选用的日志收集方案是EFK(Elasticsearch+Fluent-bit+Kibana)，后边有时间再写点fluent-bit的内容 我们目前线上Kubernetes的版本总是落后最新的release
1.9K50发布于 2019-05-15 - 来自专栏charlieroro
评测Loki日志工具
for logs. loki/loki-stack 0.38.1 v1.5.0 Loki: like Prometheus, but for logs. loki/fluent-bit 0.1.4 v1.5.0 Uses fluent-bit Loki go plugin for gathering lo... loki/promtail 0.23.2
2K20发布于 2020-07-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号