- 综合排序
- 最热优先
- 最新优先
- 来自专栏Kubernetes 与 Devops 干货分享
EFK日志平台部署
Fluented主要用来收集k8s组件和docker容器日志，Filebeat主要用来收集应用日志，主要因为目前项目中应用日志并未全部通过stdout方式输出到docker日志驱动中，导致flunted 收集日志并不全面，需要通过Filebeat来将应用日志收集到es中，再由kibana来展示。 主要运行步骤如下： 首先 Fluentd 从多个日志源获取数据 结构化并且标记这些数据 然后根据匹配的标签将数据发送到多个目标服务去 日志源配置 收集 Kubernetes 节点上的所有容器日志，就需要做如下的日志源配置 输出日志数据的目录。 tag：用来将日志源与目标或者过滤器匹配的自定义字符串，Fluentd 匹配源/目标标签来路由日志数据。
1.9K20编辑于 2022-10-31 轻量级日志平台
常用的日志管理平台如efk，elk等都太过臃肿，推荐一个轻量级的日志平台zincsearch页面如下java 可以使用com.agidologback-elasticsearch-appender3.0.8 appender name="ELASTIC" class="com.agido.logback.elasticsearch.ElasticsearchAppender"> <url>http://日志平台用户名 :日志平台密码@日志平台地址:日志平台端口/es/_bulk</url> <! /> <appender-ref ref="CONSOLE"/> </root> </springProfile></configuration>这样就可以将日志实时接入到日志平台了 另外也可以修改源码加入实时报警机制，检测到关键词如"Error"发送到群机器人或者其他通知平台
1.1K10编辑于 2024-03-25- 来自专栏技术杂记
日志服务器（8）
qishToW6PlZC.UewgjQaLp9YPPTFqvLbh47F6QUhHqPhrLT6fqdEfqYr6TIGyOl0XuAiUnlvJflixfO/:16545:0:99999:7::: [root@h202 ~]# ---- 服务端检查日志 通过这种方式已经可以实现操作审记了 ---- 查看服务端数据库中的日志 检查数据库确保数据也写了一份到mysql中 [root@h105 ~]# mysql -u root -p Enter password
1.3K20发布于 2021-10-20 - 来自专栏后端开发随笔
细说java平台日志组件
JDK自带日志组件，使用方式简单，不需要依赖第三方日志组件。 支持将日志打印到控制台，文件，甚至可以将日志通过网络打印到指定主机。 JCL提供了一个轻量级的日志抽象，为应用程序提供统一的日志API。允许用户使用具体的日志实现，如：log4j，Avalon LogKit，java.util.logging。 3. slf4j提供了统一的日志API，将具体的日志实现交给其他日志框架，这带来了很大的灵活性。 那么问题来了，既然存在这么多的日志框架，那如何选择呢？ slf4j为其他日志框架提供了统一的日志操作api，这对于sdk这样的基础库开发，非常适合使用slf4j，因为你不知道用户最终会选择什么日志框架。 而slf4j使用同一的日志操作api，将具体的日志框架选择权利留给用户，既可以选择log4j，也可以选择logback，甚至可以使用jdk日志组件。
1.5K30发布于 2019-09-11 - 来自专栏mantou大数据
Flume - Kafka日志平台整合
Flume介绍 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理 agent agent本身是一个Java进程，运行在日志收集节点—所谓日志收集节点就是服务器节点。 source source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence keep-alive = 10 agent.channels.c1.capacity = 65535 很明显，由配置文件可以了解到: 我们需要读取目录：/home/usr/tomcat-test/logs下日志文件
2.1K100发布于 2018-04-16 - 来自专栏编程乐园
搭建ELK日志分析平台并收集Nginx日志
ELK介绍 需求背景 业务发展越来越庞大，服务器越来越多 各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志 开发人员排查问题，需要到服务器上查日志，不方便 运营人员需要一些数据 但在规模较大也就是日志量多而复杂的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。 localhost ~]# sysctl -p 3、安装JDK环境 [root@localhost ~]# wget https://mirrors.yangxingzhen.com/jdk/jdk-8u181 -linux-x64.tar.gz [root@localhost ~]# tar zxf jdk-8u181-linux-x64.tar.gz -C /usr/local #配置/etc/profile – elk [elk@localhost ~]$ /usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/nginx.conf -t 8、
1.9K30发布于 2021-07-12 - 来自专栏性能与架构
认识日志分析平台ELK
为什么要使用日志分析平台 对于日志的重要性，都会很认同，不管是一个小网站，还是一个大系统，都会用到日志 网站初期，一般就是查看web服务器访问日志，例如，平时关注一下404访问，有的话及时处理一下；网站访问变慢了 …… 并且日志的存储也不满足于普通的日志文件了，会把日志保存到数据库，如mysql、mongodb、hbase 日志的发展趋势就是：源头分散、产生速度快、数据量巨大 所以，传统日志分析手段力不从心，需要专业的日志分析平台 携程案例 携程分享过他们的日志发展历程 作为中国最大的OTA网站，每日产生的各类日志有好几十种，有数个TB大小，如果采用Splunk这样的商业软件，每年的授权费用就要近千万，必须要有自己的日志平台 （3）支持关键词搜索和浏览，能支持组合条件搜索 （4）能够按照时间窗对特定字段做数值统计，比如计算某个时间段的平均响应时间，或者出现某种错误类型最多的URL等 后来通过技术分析调研，携程便使用了ELK日志分析平台 ，并在此基础上进行了扩展开发 ELK平台介绍 ELK是三个开源工具 ElasticSearch、Logstash、Kibana 组成的软件栈 通过他们3个的完美配合，就可以完成对大型系统日志的 采集、存储
1.5K80发布于 2018-04-03 - 来自专栏用户8644135的专栏
搭建ELK日志分析平台并收集Nginx日志
ELK介绍 需求背景 业务发展越来越庞大，服务器越来越多 各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志 开发人员排查问题，需要到服务器上查日志，不方便 运营人员需要一些数据 但在规模较大也就是日志量多而复杂的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。 localhost ~]# sysctl -p 3、安装JDK环境 [root@localhost ~]# wget https://mirrors.yangxingzhen.com/jdk/jdk-8u181 -linux-x64.tar.gz [root@localhost ~]# tar zxf jdk-8u181-linux-x64.tar.gz -C /usr/local #配置/etc/profile elk [elk@localhost ~]$ /usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/nginx.conf -t 8、
1.9K20发布于 2021-07-08 - 来自专栏希里安
K8s管理平台pod日志显示为啥选WebSocket？SSE 不行吗？
在 K8s 集群管理平台开发中，实时获取 Pod 日志是核心功能之一。 SSE (Server-Sent Events) 和 WebSocket 这两种是实现通信的选择，广泛用于日志流传输和交互式终端场景,下面希里安带大伙一起来看看这两种技术的原理、优缺点以及在 K8s 日志显示中的应用 • 无内置重连，需手动实现 • 资源占用略高于 SSE k8s Pod 日志场景的使用 K8s 的 /api/v1/namespaces/{namespace}/pods/{name}/log 端点通过 集成 需格式转换 直接桥接 client-go 流 为何什么WebSocket 是 k8s 日志的首选？ 总结 SSE 和 WebSocket 各有优势，但 WebSocket 在 k8s 集群管理平台中更适合日志和终端功能。其双向通信、终端兼容性和前端生态支持使其成为事实标准。
66910编辑于 2025-07-01 - 来自专栏Sign
精灵之息 开发日志（8）
所以数据没变很正常呀，虽然我以为改了很多东西，但是对那些玩家来说，其实根本就没有变化。
49830发布于 2021-08-20 - 来自专栏运维部落
日志可视化方案及Lens-K8S桌面管理平台IDE介绍
「史丹利」，今天聊点技术：k8桌面管理平台-lens。 上家公司AllIN k8s的时候，我们遇到一个日志可视化的问题。大致情况如下： 非容器化时代：开发环境开通 Developer 只读或普通用户权限，登录主机查看日志。或 ELK日志检索平台查看。 Allin k8s时代：ELK或SLS[1]提供日志检索和实时跟踪展示 遇到的问题: 开通主机登录权限：导致权限管理混乱。权限最小化及收口难。 个人目前使用体验简单归纳如下吧： 避免权限扩大，运维又没有能力极速开发一款产品来满足ALLIN k8s时，lens是非常优秀的选择； 跨平台使用体验很赞，又是免费的。 参考资料 [1]日志管理平台: 阿里云日志管理平台 [2]飞书: 一款企业办公软件 [3]ack管理控制台: 阿里云k8s管理平台
2.8K20编辑于 2021-12-27 - 来自专栏程序员泥瓦匠
Docker 搭建 ELK 日志搜索平台
ELK 图文简介 最终效果预览 ELK 搭建流程 1、规范化 Spring Boot 应用的日志 请参考 《Spring Boot Log4j2 日志性能之巅》，此处为了收集、处理日志信息，所以修改下日志的 logstash \ logstash \ logstash -f /etc/logstash.conf -v /Users/admin/code/log:/Users/admin/code/log 日志目录一定要挂载 ， /Users/admin/code/log 为日志文件的目录 4、ELK - 部署 Kibana 获取镜像 docker pull kibana 启动 docker run \ -d \ -p 5601 :elasticsearch \ -e ELASTICSEARCH_URL=http://elasticsearch:9200 \ --name kinaba \ kibana 至此，基本的 ELK 平台搭建完毕
71010编辑于 2021-12-17 - 来自专栏程序员泥瓦匠
微服务海量日志监控平台
在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志，业务排查需要业务等等。 那么将日志统一输出到一个地方集中管理，然后将日志处理化，把结果输出成运维、研发可用的数据是解决日志管理、协助运维的可行方案，也是企业迫切解决日志的需求。 我们的解决方案 通过上面的需求我们推出了日志监控系统。 日志统一收集、过滤清洗。 生成可视化界面、监控，告警，日志搜索。 功能流程概览 在每个服务节点上埋点，实时采集相关日志。 除了采集业务服务日志外，我们还收集了mysql的慢查询日志和错误日志,还有别的第三方服务日志，如:nginx等。最后结合我们的自动化发布平台，自动发布并启动每一个filebeat进程。 其二、它无法帮你采集你想要的非error日志和所谓的关键日志，比如：某个接口调用时出了错，你想看出错时间点的前后日志；还有打印业务相关方便做分析的日志。
2.6K20编辑于 2021-12-17 - 来自专栏用户8644135的专栏
搭建ELK日志分析平台+Filebeat
ELK介绍 需求背景 业务发展越来越庞大，服务器越来越多 各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志 开发人员排查问题，需要到服务器上查日志，不方便 运营人员需要一些数据 但在规模较大也就是日志量多而复杂的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。 一个完整的集中式日志系统，需要包含以下几个主要特点： 1）收集－能够采集多种来源的日志数据 2）传输－能够稳定的把日志数据传输到中央系统 3）存储－如何存储日志数据 4）分析－可以支持 UI 分析 localhost ~]# sysctl –p 3、安装JDK环境 [root@localhost ~]# wget https://mirrors.yangxingzhen.com/jdk/jdk-8u181 -linux-x64.tar.gz [root@localhost ~]# tar zxf jdk-8u181-linux-x64.tar.gz -C /usr/local #配置/etc/profile
1.8K30发布于 2021-07-08 - 来自专栏编程乐园
搭建ELK日志分析平台+Filebeat
ELK介绍 需求背景 业务发展越来越庞大，服务器越来越多 各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志 开发人员排查问题，需要到服务器上查日志，不方便 运营人员需要一些数据 但在规模较大也就是日志量多而复杂的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。 一个完整的集中式日志系统，需要包含以下几个主要特点： 1）收集－能够采集多种来源的日志数据 2）传输－能够稳定的把日志数据传输到中央系统 3）存储－如何存储日志数据 4）分析－可以支持 UI 分析 5） localhost ~]# sysctl –p 3、安装JDK环境 [root@localhost ~]# wget https://mirrors.yangxingzhen.com/jdk/jdk-8u181 -linux-x64.tar.gz [root@localhost ~]# tar zxf jdk-8u181-linux-x64.tar.gz -C /usr/local #配置/etc/profile
1.1K30发布于 2021-07-12 - 来自专栏清晨我上码
平台用户操作日志模块设计
本文主要从三个部分叙述关于一般平台日志模块的实现 开发工具:springMvc4.3、jdk8、mybatis3.3 概述 这里的日志主要是记录用户在平台上的操作、以及操作结果。 TIMESTAMP COMMENT '请求时间', PRIMARY KEY (`ID`) ) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=UTF8; index_action(ACTION_URI), PRIMARY KEY (`ID`) ) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=UTF8; ，log_action表则是记录那些请求时需要日志模块记录的 代码模块 注意：关于实体类LogAction（平台日志的uri对应的描述）、RequestModel（要保存日志的详细信息）。 省略 一下为用到的接口，具体实现类以及操作数据库的DAO这里不再叙述 日志url服务接口，获取平台初始化的数据 public interface LogActionService { public
6.1K20发布于 2018-09-13 - 来自专栏SpringCloud专栏
Springboot项目搭配ELK日志平台
上一篇讲过了elasticsearch和kibana的可视化组合查询，这一篇就来看看大名鼎鼎的ELK日志平台是如何搞定的。 比较常用的有file，就是读取某个文件，如果你的日志是生成了日志文件，就可以在这里用input file去读取它。 xml version="1.0" encoding="UTF-8"? net.logstash.logback.appender.LogstashTcpSocketAppender"> <destination>你的ip地址:4567</destination> <encoder charset="UTF-<em>8</em>" OK，通过这个简单的例子，我们就可以把Springboot日志输出到ELK日志平台了。
1.8K32发布于 2019-01-17 - 来自专栏杨建荣的学习笔记
MySQL慢日志平台优化设计
志平台的整体设计 在这个基础上，想把慢日志的优化工作做得更透一些，需要对原来的慢日志信息从展示升华到优化建议，整体设计行做了如下的规划： 1．慢日志排行榜的联动 根据Query_ID得到SQL执行明细 进行表结构信息提取和索引元数据信息提取 4．SQL执行计划信息查看 根据Query_ID去线上环境查看当前的执行计划信息 得到执行计划的补充信息 5．实现SQL性能历史跟踪 指定SQL的性能历史 实现：查询慢日志历史 实现：通过sys schema查询数据字典，匹配是否存在相关的表 是否存在全表扫描 实现：执行时间低于1秒以内，建议评估是否创建索引 实现：执行时间大于大于1秒以上，数据量达到一定量级，建议添加索引 慢日志关联 ： 实现：得到相关SQL列表 7．第三方建议整合 SOAR SQL Advisor 8．慢日志预警 订阅慢日志报告，提供链接访问 如果把这些事情整合起来，我做了一个初版的原型。
95320发布于 2019-05-13 - 来自专栏测试基础
【JMeter系列-8】JMeter自定义日志与日志分析
JMeter自定义日志与日志分析 JMeter日志概览 JMeter与Java程序一样，会记录事件日志，日志文件保存在bin目录中，名称为jmeter.log。 当然，我们也可以在面板中直接察看日志，点击右上角黄色标志物可以打开日志面板，再次点击收起。 ? 可见，通过日志可以帮助我们定位一些不容易直接察觉的问题。 另外，JMeter可以很方便地设置日志输出级别： ? 自定义日志 前面所看到的都是系统日志，也就是JMeter本身所打印的日志。如果我们自己想输出一些日志，该怎么办呢？ 在该请求下添加Beanshell断言，运行后，日志中输出了相应内容： ? 日志分析 针对该日志写一个日志分析脚本logAnalysis.sh： #!
3.7K32发布于 2020-09-16 - 来自专栏FunTester
Fabric8 Kubernetes 日志工具实践
最近在使用 Fabric8 Kubernetes Client 的过程中发现了新大陆一样，感觉利用这个库可以进行很多有趣的功能尝试，其中一个便是日志的本地化。 当我看到 Fabric8 Kubernetes Client 的日志相关 API 的时候我就立刻冒出来写一个日志小工具的想法。 API简介 首先我们简单介绍一下 API，以方便快速进入场景。 后续等我自觉学得差不多了，再来列个专题给大家分享 Fabric8 Kubernetes Client 的全部 API 实践经验。 以下是 Fabric8 Kubernetes Client 日志功能的结构化总结： 功能点与 API 对照表 首选日志流 对于日志需求来讲，流式调用自然是最好不过了，可以及时获取最新的日志信息，还不用后期干预 ： import com.auto.fault.framework.funtester.frame.SourceCode import com.auto.fault.framework.utils.k8s.K8sLog
54510编辑于 2025-04-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号