- 综合排序
- 最热优先
- 最新优先
- 来自专栏devops_k8s
k8s 日志采集最佳实践
4 k8s 日志收集注意 4.1 收集方式 在 Kubernetes 中，日志采集相比传统虚拟机、物理机方式要复杂很多，最根本的原因是 Kubernetes 把底层异常屏蔽，提供更加细粒度的资源调度 在 K8s 中，应用都以 yaml 的方式部署，而日志采集还是以手工的配置文件形式为主，如何能够让日志采集以 K8s 的方式进行部署? 5 采集方式: 主动 or 被动 日志的采集方式分为被动采集和主动推送两种，在 K8s 中，被动采集一般分为 Sidecar 和 DaemonSet 两种方式，主动推送有 DockerEngine 7 日志采集方案 image.png 早在 Kubernetes 出现之前，我们就开始为容器环境开发日志采集方案，随着 K8s 的逐渐稳定，我们开始将很多业务迁移到 K8s 平台上，因此也基于之前的基础专门开发了一套 K8s 上的日志采集方案。
3K40发布于 2021-11-09 - 来自专栏k8s_istio
K8S日志收集：容器日志输出JSON，自动采集至Elasticsearch
以腾讯云的容器服务为例，将容器内日志输出到腾讯云的日志服务（基于 ES） 环境信息 应用：基础镜像是 nginx，运行静态页面 K8S: 1.18 核心流程：日志打印到容器标准输出 -> 采集容器标准输出到 lrwxrwxrwx 1 root root 11 Dec 17 23:01 error.log -> /dev/stderr docker build 新的镜像，部署到 K8S 创建日志收集规则 在【容器服务】->【日志规则】中，新增一个日志采集规则，选择上述应用对应的工作负载。 [【容器服务】->【日志规则】] 设置输出模式为 JSON [设置输出模式为 JSON] 3. 设置索引 在日志服务页面，找到上面 设置的日志集，设置索引。 先访问自己的服务，生成几条日志，这样可以使用下图中的【自动配置】功能。 [检索分析] reference 1 k8s教程. K8S日志收集：容器日志输出JSON，自动采集至Elasticsearch
2.5K10发布于 2021-03-07 采集日志flume专题
1.3 日志采集 Flume 配置 (1)Flume 配置分析 Flume 直接读 log 日志的数据，log 日志的格式是 app.yyyy-mm-dd.log。 event) { byte[] body = event.getBody(); String log = new String(body, StandardCharsets.UTF_8) [hadoop@hadoop103 flume]$ bin/flume-ng agent --name a1 --conf-file conf/file-flume-kafka.conf & 1.5 日志采集 我们希望的是根据日志里面的实际时间，发往 HDFS 的路径，所以下面拦截器作用是获取日志中的实际时间。 String> headers = event.getHeaders(); String log = new String(event.getBody(), StandardCharsets.UTF_8)
19010编辑于 2025-12-23- 来自专栏飞鸟的专栏
kubernetes中日志采集
在Kubernetes中，有很多日志采集方案可以供我们选择，本文将介绍其中的几种常见的方案，并且探讨它们的优缺点。 方案一：容器内部日志采集在Kubernetes中，每个容器都有自己的标准输出和标准错误输出，我们可以使用容器运行时提供的工具来采集这些输出，并将其重定向到日志文件中。 方案二：DaemonSet另一种常见的日志采集方案是使用Kubernetes中的DaemonSet来部署日志收集器。 其次，如果Pod被删除或重新创建，日志收集器也需要重新部署。方案四：集中式日志采集另外一种常见的日志采集方案是使用集中式日志采集工具，例如Elasticsearch和Kibana等工具。 另外，由于日志信息是异步发送到集中式日志收集服务器中的，因此即使主应用程序崩溃或被删除，也不会影响日志信息的采集。但是，这种方案也存在一些缺点。
1.3K30编辑于 2023-03-29 - 来自专栏大数据与微服务架构
日志采集工具Flume
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Sink负责持久化日志或者把事件推向另一个Source。 Flume的一些核心概念： 1. Agent：使用JVM 运行Flume。 Events：可以是日志记录、 avro 对象等。 Flume以agent为最小的独立运行单位。一个agent就是一个JVM。 Sink可以把日志写入HDFS, HBase，甚至是另外一个Source等等。 日志收集实际应用案例： Flume：日志收集 HDFS/HBase：日志存储 Hive：日志分析 ?
90910发布于 2020-04-11 - 来自专栏日志采集
日志采集agent对比
、json等主流格式 支持delimiter、key-value、json等主流格式 支持delimiter、key-value、json等主流格式 采集源 文件和TCP(Lumberjack Linux、windows和MAC Linux、windows和MAC Linux、windows和MAC Linux和windows Linux 备注 可以作为采集 agent和server，插件很多ali提供了直接写日志服务的插件 采集agent直接写ES或者支持输出Lumberjack 协议 支持写入到kafka、hdfs等 写入到aliyun 测试日志格式： nginx 日志 分隔符和单行全文 测试环境： CVM: 2cpu + 4Gmem + 200Mbps 四、对比结果 单行全文-10w/s qps attachment-1-cpu.png 分隔符-10w/s qps attachment-2-cu.png attachment-2-mem.png attachment-2-net.png 分析： 采集能理上loglistener是1.96w
3.2K30发布于 2020-03-17 - 来自专栏鸿的学习笔记
日志采集技术笔记
核心概念 核心：将数据从源端投递到目的端的程序 目的端：具备数据订阅功能的集中存储 源端：普通的文本文件，通过网络接收到的日志数据 日志采集模式：推和拉 推:日志采集Agent主动从源端取得数据后发送给目的端 拉:目的端主动向日志采集Agent获取源端的数据 常用采集工具：Fluentd、Logstash、Flume、scribe 简而言之是对Linux下的tail -f命令的完善 实现日志采集 如何发现一个文件 简单粗暴的方式是让用户直接把要采集的文件罗列出来放在配置文件中，然后日志采集Agent读取配置文件找到要采集的文件列表，然后打开这些文件进行采集。 灵活一点的会让用户配置一个日志采集的目录和文件名字匹配规则，agent自动采集。 如何发现新创建的日志文件？ 定时去轮询目录。但是轮询的周期太长会导致不够实时，太短又会耗CPU。 ，所以导致FTP服务器的实时采集不同于一般的日志采集，因此agent只能够监听服务器上的文件，进而判断该文件是否写成功。
2.1K50发布于 2018-10-18 - 来自专栏云原生技术社区
使用fluent bit+ClickHouse 实现K8s日志采集
使用FluentBit采集K8s容器日志，需要在FluentBit的conf文件中完成以下input配置（这里配置了docker中运行的容器log文件位置，fluent会采集文件中的日志并自动完成简单的过滤清洗操作 ，fluent-Bit通过配置文件中配置的日志采集位置对日志进行采集，经过处理后采用配置的output插件将数据存储到ClickHouse中。 API 服务器端点 Merge_Log On #启用后，它会检查日志字段内容是否为 JSON 字符串映射，如果是，则将映射字段附加为日志结构的一部分。 JSON 字符串消息，并在映射中日志字段的同一级别对其进行结构化表示，设置key后从原始日志内容中提取的所有新结构化字段都将插入到新键下 FLB运行环境cpu和mem均未设置上限 测试开始 分别记录 FLB空载、日志打印频率为5000条/秒、1000条/秒、500条/秒、200条/秒、50条/秒、1条/秒几个状态10分钟内cpu和内存的变化范围、记录各条件下开始记录日志到开始出现滞留的时间，出现滞留后一段时间的日志滞留数目
3.1K50编辑于 2021-12-28 - 来自专栏瓜农老梁
k8s01# K8s日志采集与服务质量QoS
主要内容有： 日志采集三种方式 日志采集方式权衡 Pod服务质量QoS 一、日志采集三种方式 K8s日志采集方式主要有原生方式、DaemonSet采集方式、Sidecar采集方式。 DaemonSet采集方式，在k8s的node节点上运行日志代理，由日志代理将日志采集到后端服务。 SideCar采集方式，在一个POD中运行一个单独的日志采集代理容器，用于采集容器的日志。 如果想SideCar采集模式业务无感，可以使用OpenKruise提供的SidecarSet管理sidecar容器。 SidecarSet负责注入和升级k8s集群的sideCar容器，对业务无感。 小结：在日志采集代理能力能满足需求的情况下，DaemonSet模式在运维复杂性、资源节省、升级方面更好的选择。 三、Pod服务质量QoS K8s使用服务质量QoS来决定Pod的调度和驱逐策略。 K8s资源回收驱逐策略，当Node上的内存或者CPU耗尽时，为了保护Node会驱逐POD，优先级低的POD会优先被驱逐。
73220编辑于 2022-12-03 - 来自专栏玖叁叁
kubernetes日志采集ELK（一）
在Kubernetes中，日志采集是一个非常重要的任务，因为它可以帮助我们监控应用程序的运行状态，并诊断潜在的问题。 ELK（Elasticsearch、Logstash、Kibana）是一个流行的日志采集和分析工具集。部署Elasticsearch首先，需要部署Elasticsearch。 Logstash是一个开源的数据采集引擎，用于将不同来源的数据合并到一个统一的数据流中。
69551编辑于 2023-05-04 - 来自专栏玖叁叁
kubernetes日志采集ELK（二）
部署日志生成器为了测试ELK的日志采集功能，需要创建一个简单的日志生成器。 以下是一个示例Pod文件，用于生成日志：apiVersion: v1kind: Podmetadata: name: log-generatorspec: containers: - name \"}"; sleep 1; done | nc -w 1 logstash 5000;']在此文件中，busybox镜像用于生成JSON格式的日志，并将其发送到Logstash的TCP端口。 使用Kibana查看日志现在可以使用Kibana查看日志了。 在控制台中，选择Discover选项卡，可以看到来自Logstash的日志。
45631编辑于 2023-05-04 - 来自专栏用户4624600的专栏
jmeter采集测试日志
背景 在使用jmeter压测的工作中,不仅需要关注当前qps,也需要查看请求日志. 下面介绍两种方式收集jmeter的请求日志 BeanShell 使用BeanShell方法是解析请求数据并存到本地文件中. required: http://localhost:5601/path # IPv6 addresses should always be defined as: https://[2001:db8: 参考 Jmeter-Beanshell Assertion-内置变量的使用
https://www.jianshu.com/p/66587703551c 性能监控之JMeter分布式压测轻量日志解决方案76530编辑于 2022-03-24 - 来自专栏玖叁叁
kubernetes日志采集Loki（四）
部署日志收集器最后，可以使用以下命令，部署Loki的日志收集器：apiVersion: v1kind: ConfigMapmetadata: name: loki-agent-config namespace filename: /tmp/positions.yaml clients: - url: http://loki:3100/loki/api/v1/push tenant_id: k8s 然后，创建了一个Deployment对象，用于部署Loki的日志收集器。在Deployment对象中，指定了Promtail的镜像以及容器的端口号。 在容器中，还指定了一个名为var-log的主机路径卷，用于存储Nginx的日志文件。为了将Nginx的日志文件发送到Loki，使用了Promtail的客户端库将日志发送到Loki中。 在此示例中，将Nginx的日志发送到http://loki:3100/loki/api/v1/push中。
78230编辑于 2023-05-04 - 来自专栏Netkiller
ElasticSearch + Logstash + Kibana 日志采集
本文节选自《Netkiller Monitoring 手札》 ElasticSearch + Logstash + Kibana 一键安装 配置 logstash 将本地日志导入到 elasticsearch TCP/UDP 接收日志并写入 elasticsearch input { file { type => "syslog" path => [ "/var/log/auth.log 01-01T10:20:00\", \"message\": \"logstash demo message\"}" (integer) 1 127.0.0.1:6379> exit 如果执行成功日志如下 22T15:54:36,787][INFO ][logstash.pipeline ] Starting pipeline {"id"=>"main", "pipeline.workers"=>8,
1.8K40发布于 2018-03-05 - 来自专栏玖叁叁
kubernetes日志采集Loki（三）
部署应用程序在Kubernetes中使用Loki进行日志采集的最后一步是部署应用程序。 此外，还指定了一个名为var-log的空目录卷，用于存储Nginx的日志文件。
58220编辑于 2023-05-04 - 来自专栏Flink实战剖析
基于Flink的日志采集
本文将会介绍基于Flink的日志采集平台来解决这些问题。 采集架构 •拆分：最上层Kafka A表示由filebeat收集上来的应用日志，然后通过Flink程序对Kafka topic进行拆分，根据不同的业务拆分到到下游Kafka B不同的topic中，那么对于下游的实时处理任务只需要消费对应的业务日志即可 ； 日志格式：在实践中规定日志格式是非常有必要的，为了保证拆分任务能够准确的拆分出对应的业务日志，就必须按照指定的日志格式进行打点 转储实现 通用实现：对于不同的业务日志，其日志的具体内容肯定各不相同， hdfs目录文件即可； 数据分区：默认分区字段根据日志中一个固定的时间字段进行分区，在实践中对于老的日志并没有按照规范日志进行打点或者分区的时间字段不是通用的一个字段，需要按照日志中一个特殊的字段解析进行分区 总结 本篇主要介绍了基于Flink的采集架构以及一些关键的实现点，欢迎交流。
1.6K30编辑于 2022-04-18 - 来自专栏玖叁叁
kubernetes日志采集Loki（一）
在Kubernetes集群中，对于应用程序的日志采集和分析非常重要。Loki是一个可扩展的、分布式的日志聚合系统，可以在Kubernetes中实现快速和高效的日志采集。 配置Loki安装Loki后，需要对其进行配置，以便可以收集和存储日志。可以使用ConfigMap对象来定义Loki的配置文件。
1K20编辑于 2023-05-04 - 来自专栏全栈程序员必看
Windows系统日志分析_python日志采集分析
Windows日志包括应用程序、安全、系统等几个部分，它的存放路径是“%systemroot%system32config”，应用程序日志、安全日志和系统日志对应的文件名为AppEvent.evt、SecEvent.evt 三、Windows日志文件的保护 日志文件对我们如此重要，因此不能忽视对它的保护，防止发生某些“不法之徒”将日志文件清洗一空的情况。 、安全日志、系统日志。 查看正常开关机记录 在Windows系统中，我们可以通过事件查看器的系统日志查看计算机的开、关机记录，这是因为日志服务会随计算机一起启动或关闭，并在日志中留下记录。 FTP日志和WWW日志在默认情况下，每天生成一个日志文件，包含了该日的一切记录，文件名通常为ex（年份）（月份）（日期）。
2.4K10编辑于 2022-10-04 - 来自专栏从码农的全世界路过
请求收集 | Filebeat日志采集
日志数据的监控和采集一般会选用Logstash和Filebeat, 其中Filebeat占用的系统资源更少而成为首选. 一. 请求收集 通过Filebeat收集指定日志信息, 并通过kafka发送到流量银行服务中, 进行日志分析和存储; 流量银行服务可以根据平台规划存储到mongoDB,ES等存储引擎中. 二. 51:45.027 ERROR [RequestRecord,12ffadfd900cd438,12ffadfd900cd438,true] 65453 --- [http-nio-8080-exec-8] v=\"88\", \"Google Chrome\";v=\"88\", \";Not A Brand\";v=\"99\";accept=application/json;charset=UTF-8; a36e-8a43047d2321;],Parameter=[],Body=[{\n \"str\": \"string\"\n}],response=[string-1613793105023]",
1.1K30编辑于 2022-06-27 - 来自专栏玖叁叁
kubernetes日志采集Loki（二）
安装并配置Loki后，需要为应用程序创建一个Loki的数据源。可以使用以下步骤，将Loki的数据源部署到Kubernetes集群中：
80120编辑于 2023-05-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号