- 综合排序
- 最热优先
- 最新优先
轻量级日志平台
常用的日志管理平台如efk，elk等都太过臃肿，推荐一个轻量级的日志平台zincsearch页面如下java 可以使用com.agidologback-elasticsearch-appender3.0.8 appender name="ELASTIC" class="com.agido.logback.elasticsearch.ElasticsearchAppender"> <url>http://日志平台用户名 :日志平台密码@日志平台地址:日志平台端口/es/_bulk</url> <! /> <appender-ref ref="CONSOLE"/> </root> </springProfile></configuration>这样就可以将日志实时接入到日志平台了 另外也可以修改源码加入实时报警机制，检测到关键词如"Error"发送到群机器人或者其他通知平台
73810编辑于 2024-03-25- 来自专栏Kubernetes 与 Devops 干货分享
EFK日志平台部署
Fluented主要用来收集k8s组件和docker容器日志，Filebeat主要用来收集应用日志，主要因为目前项目中应用日志并未全部通过stdout方式输出到docker日志驱动中，导致flunted 收集日志并不全面，需要通过Filebeat来将应用日志收集到es中，再由kibana来展示。 主要运行步骤如下： 首先 Fluentd 从多个日志源获取数据 结构化并且标记这些数据 然后根据匹配的标签将数据发送到多个目标服务去 日志源配置 收集 Kubernetes 节点上的所有容器日志，就需要做如下的日志源配置 输出日志数据的目录。 tag：用来将日志源与目标或者过滤器匹配的自定义字符串，Fluentd 匹配源/目标标签来路由日志数据。
1.7K20编辑于 2022-10-31 - 来自专栏后端开发随笔
细说java平台日志组件
JDK自带日志组件，使用方式简单，不需要依赖第三方日志组件。 支持将日志打印到控制台，文件，甚至可以将日志通过网络打印到指定主机。 JCL提供了一个轻量级的日志抽象，为应用程序提供统一的日志API。允许用户使用具体的日志实现，如：log4j，Avalon LogKit，java.util.logging。 3. slf4j提供了统一的日志API，将具体的日志实现交给其他日志框架，这带来了很大的灵活性。 那么问题来了，既然存在这么多的日志框架，那如何选择呢？ slf4j为其他日志框架提供了统一的日志操作api，这对于sdk这样的基础库开发，非常适合使用slf4j，因为你不知道用户最终会选择什么日志框架。 而slf4j使用同一的日志操作api，将具体的日志框架选择权利留给用户，既可以选择log4j，也可以选择logback，甚至可以使用jdk日志组件。
1.4K30发布于 2019-09-11 - 来自专栏mantou大数据
Flume - Kafka日志平台整合
Flume介绍 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理 agent agent本身是一个Java进程，运行在日志收集节点—所谓日志收集节点就是服务器节点。 source source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence keep-alive = 10 agent.channels.c1.capacity = 65535 很明显，由配置文件可以了解到: 我们需要读取目录：/home/usr/tomcat-test/logs下日志文件
2K100发布于 2018-04-16 - 来自专栏性能与架构
认识日志分析平台ELK
为什么要使用日志分析平台 对于日志的重要性，都会很认同，不管是一个小网站，还是一个大系统，都会用到日志 网站初期，一般就是查看web服务器访问日志，例如，平时关注一下404访问，有的话及时处理一下；网站访问变慢了 …… 并且日志的存储也不满足于普通的日志文件了，会把日志保存到数据库，如mysql、mongodb、hbase 日志的发展趋势就是：源头分散、产生速度快、数据量巨大 所以，传统日志分析手段力不从心，需要专业的日志分析平台 携程案例 携程分享过他们的日志发展历程 作为中国最大的OTA网站，每日产生的各类日志有好几十种，有数个TB大小，如果采用Splunk这样的商业软件，每年的授权费用就要近千万，必须要有自己的日志平台 （3）支持关键词搜索和浏览，能支持组合条件搜索 （4）能够按照时间窗对特定字段做数值统计，比如计算某个时间段的平均响应时间，或者出现某种错误类型最多的URL等 后来通过技术分析调研，携程便使用了ELK日志分析平台 ，并在此基础上进行了扩展开发 ELK平台介绍 ELK是三个开源工具 ElasticSearch、Logstash、Kibana 组成的软件栈 通过他们3个的完美配合，就可以完成对大型系统日志的 采集、存储
1.4K80发布于 2018-04-03 - 来自专栏编程乐园
搭建ELK日志分析平台并收集Nginx日志
ELK介绍 需求背景 业务发展越来越庞大，服务器越来越多 各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志 开发人员排查问题，需要到服务器上查日志，不方便 运营人员需要一些数据 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。 但在规模较大也就是日志量多而复杂的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。 常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一个完整的集中式日志系统，需要包含以下几个主要特点： 1）收集－能够采集多种来源的日志数据 2）传输－能够稳定的把日志数据传输到中央系统 3）存储－如何存储日志数据 4）分析－可以支持 UI 分析 5）
1.7K30发布于 2021-07-12 - 来自专栏用户8644135的专栏
搭建ELK日志分析平台并收集Nginx日志
ELK介绍 需求背景 业务发展越来越庞大，服务器越来越多 各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志 开发人员排查问题，需要到服务器上查日志，不方便 运营人员需要一些数据 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。 但在规模较大也就是日志量多而复杂的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。 常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一个完整的集中式日志系统，需要包含以下几个主要特点： 1）收集－能够采集多种来源的日志数据 2）传输－能够稳定的把日志数据传输到中央系统 3）存储－如何存储日志数据 4）分析－可以支持 UI 分析
1.5K20发布于 2021-07-08 - 来自专栏程序员泥瓦匠
Docker 搭建 ELK 日志搜索平台
ELK 图文简介 最终效果预览 ELK 搭建流程 1、规范化 Spring Boot 应用的日志 请参考 《Spring Boot Log4j2 日志性能之巅》，此处为了收集、处理日志信息，所以修改下日志的 logstash \ logstash \ logstash -f /etc/logstash.conf -v /Users/admin/code/log:/Users/admin/code/log 日志目录一定要挂载 ， /Users/admin/code/log 为日志文件的目录 4、ELK - 部署 Kibana 获取镜像 docker pull kibana 启动 docker run \ -d \ -p 5601 :elasticsearch \ -e ELASTICSEARCH_URL=http://elasticsearch:9200 \ --name kinaba \ kibana 至此，基本的 ELK 平台搭建完毕
60310编辑于 2021-12-17 - 来自专栏程序员泥瓦匠
微服务海量日志监控平台
在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志，业务排查需要业务等等。 那么将日志统一输出到一个地方集中管理，然后将日志处理化，把结果输出成运维、研发可用的数据是解决日志管理、协助运维的可行方案，也是企业迫切解决日志的需求。 我们的解决方案 通过上面的需求我们推出了日志监控系统。 日志统一收集、过滤清洗。 生成可视化界面、监控，告警，日志搜索。 功能流程概览 在每个服务节点上埋点，实时采集相关日志。 除了采集业务服务日志外，我们还收集了mysql的慢查询日志和错误日志,还有别的第三方服务日志，如:nginx等。最后结合我们的自动化发布平台，自动发布并启动每一个filebeat进程。 其二、它无法帮你采集你想要的非error日志和所谓的关键日志，比如：某个接口调用时出了错，你想看出错时间点的前后日志；还有打印业务相关方便做分析的日志。
2.3K20编辑于 2021-12-17 - 来自专栏用户8644135的专栏
搭建ELK日志分析平台+Filebeat
ELK介绍 需求背景 业务发展越来越庞大，服务器越来越多 各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志 开发人员排查问题，需要到服务器上查日志，不方便 运营人员需要一些数据 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。 但在规模较大也就是日志量多而复杂的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。 常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一个完整的集中式日志系统，需要包含以下几个主要特点： 1）收集－能够采集多种来源的日志数据 2）传输－能够稳定的把日志数据传输到中央系统 3）存储－如何存储日志数据 4）分析－可以支持 UI 分析
1.7K30发布于 2021-07-08 - 来自专栏编程乐园
搭建ELK日志分析平台+Filebeat
ELK介绍 需求背景 业务发展越来越庞大，服务器越来越多 各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志 开发人员排查问题，需要到服务器上查日志，不方便 运营人员需要一些数据 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。 但在规模较大也就是日志量多而复杂的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。 常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一个完整的集中式日志系统，需要包含以下几个主要特点： 1）收集－能够采集多种来源的日志数据 2）传输－能够稳定的把日志数据传输到中央系统 3）存储－如何存储日志数据 4）分析－可以支持 UI 分析 5）
99330发布于 2021-07-12 - 来自专栏清晨我上码
平台用户操作日志模块设计
本文主要从三个部分叙述关于一般平台日志模块的实现 开发工具:springMvc4.3、jdk8、mybatis3.3 概述 这里的日志主要是记录用户在平台上的操作、以及操作结果。 ，log_action表则是记录那些请求时需要日志模块记录的 代码模块 注意：关于实体类LogAction（平台日志的uri对应的描述）、RequestModel（要保存日志的详细信息）。 他们的实体类和对应的mybatis dao操作这里不再额外叙述 平台启动缓存数据类 /** * Copyright: Copyright (c) 2017 LanRu-Caifu * @author 省略 一下为用到的接口，具体实现类以及操作数据库的DAO这里不再叙述 日志url服务接口，获取平台初始化的数据 public interface LogActionService { public List<LogAction> getAllAction(); } 日志操作接口，保存日志信息。
6K20发布于 2018-09-13 - 来自专栏SpringCloud专栏
Springboot项目搭配ELK日志平台
上一篇讲过了elasticsearch和kibana的可视化组合查询，这一篇就来看看大名鼎鼎的ELK日志平台是如何搞定的。 比较常用的有file，就是读取某个文件，如果你的日志是生成了日志文件，就可以在这里用input file去读取它。 4 使用kibana查看Springboot日志 上面配置好了logback和logstash的关联，我们就试着输出日志看看。 然后看看日志存储情况 ? ? 我们可以看到在kibana里和ES中都已经发现了这些日志信息了。 譬如我们做个条件搜索： ? OK，通过这个简单的例子，我们就可以把Springboot日志输出到ELK日志平台了。
1.7K32发布于 2019-01-17 - 来自专栏杨建荣的学习笔记
MySQL慢日志平台优化设计
志平台的整体设计 在这个基础上，想把慢日志的优化工作做得更透一些，需要对原来的慢日志信息从展示升华到优化建议，整体设计行做了如下的规划： 1．慢日志排行榜的联动 根据Query_ID得到SQL执行明细 进行表结构信息提取和索引元数据信息提取 4．SQL执行计划信息查看 根据Query_ID去线上环境查看当前的执行计划信息 得到执行计划的补充信息 5．实现SQL性能历史跟踪 指定SQL的性能历史 实现：查询慢日志历史 实现：通过sys schema查询数据字典，匹配是否存在相关的表 是否存在全表扫描 实现：执行时间低于1秒以内，建议评估是否创建索引 实现：执行时间大于大于1秒以上，数据量达到一定量级，建议添加索引 慢日志关联 ： 实现：得到相关SQL列表 7．第三方建议整合 SOAR SQL Advisor 8．慢日志预警 订阅慢日志报告，提供链接访问 如果把这些事情整合起来，我做了一个初版的原型。
88720发布于 2019-05-13 - 来自专栏SpringCloud专栏
Springboot项目使用aop切面保存详细日志到ELK日志平台
上一篇讲过了将Springboot项目中logback日志插入到ELK日志平台，它只是个示例。这一篇来看一下实际使用中，我们应该怎样通过aop切面，拦截所有请求日志插入到ELK日志系统。 同时，由于往往我们有很多个服务，都需要记录日志，为每个服务都搭建一个ELK并不现实，所以我们采用集中化管理日志，将所有日志都插到同一个ELK中。 这样既完成了日志统一管理，又区分开了不同的项目。 配置完毕，启动Logstash即可。 设置aop拦截 上面的Logstash配置好后，假定你已经启动好了ES，也配置好了kibana，那么基础工作就已经完成了，那么我们就来完成aop切面日志的收集了。 可以看到记录的日志了。
1.6K51发布于 2019-01-17 - 来自专栏嘉为动态
融合型日志平台应该如何建设？
日志平台常见建设路径与思考为了实现最终“发挥日志价值”的业务目标，日志平台的总体建设路径可以总结为三个方面：集中化将物理层、系统层、应用层异构且分散的日志集中存储和管理。 如果企业真的在用日志做智能化，很大程度上可能不是日志平台本身做的，或者日志平台只是在处理业务中的问题，一旦数据要求脱敏或者业务本身简单，它便原型毕露。那如何建设日志平台来真正利用好日志数据呢？ 那么日志平台，便需要更好地联通上游，和其他观测系统共同完成对象建模和信息流串联，扮演好这个体系中应有的角色。用这种“融合”的思路来进行日志平台的建设，是当今一种更加理性的建设思路。 假设当前出现了一条业务自定义的关键字告警，分散建设的日志平台和在可观测体系下建设的日志平台的区别如下所示。4. 建设路径那么这样一种基于可观测理论体系建设的日志平台应该从哪些方面进行建设呢？ 而通过日志大数据做智能运维这个方向，如今更多是被其他大数据平台所承载，更多企业客户会选择将清洗后的日志数据作为其业务大数据的一个数据源，而并非在日志平台本身建设。
83520编辑于 2022-11-01 - 来自专栏小强的进阶之路
Java平台下日志的那些事
作者丨张丰哲 https://www.jianshu.com/p/127d3201921b 日志框架漫谈 Java平台下存在很多日志框架，比如JUL（java.util.logging），JCL java平台下日志框架的发展，经历了具体的日志实现，后来发展为日志门面+日志实现。 ? java日志 当我们在开发的时候，应该使用日志门面提供的api，而不是直接使用具体的日志实现。 打个比方，如果我们使用slf4j+log4j这套组合，那么配置提供log4j的配置（比如log4j.xml），使用slf4j提供的日志api即可；也就是说，每个日志实现框架都有自己的日志配置文件，即便使用日志门面后 （也就是日志门面只是实现了api的适配，而没有进行日志配置的统一规范） 当前最流行的日志门面是slf4j了，我们就以这个为例来具体分析下，主要进行2点分析： 第一：slf4j是如何对各个日志实现进行适配 看SpringBoot如何对日志进行统一处理 SpringBoot能自动适配所有的日志，而且底层使用的是slf4j+logback的方式记录日志，引入其他框架的时候，只需要把这个框架依赖的日志框架排除掉即可
70630发布于 2019-06-02 - 来自专栏DBA 平台和工具
MongoDB Slowquery慢查询日志分析平台
简介 MongoDB的慢SQL日志是记录到业务库的system.profile表里，当线上DB运行缓慢时，开发通常联系DBA去排查问题，那么可以将这种机械化的工作，做成一个平台化、可视化的工具出来，让开发在网页里点点鼠标即可查看数据库运行状况
1.6K31发布于 2020-06-22 - 来自专栏Nicky's blog
Linux快速搭建ELK日志分析平台
首先，在你的运行环境下创建一个安装目录 1.mkdir es ，创建一个名为es的包。 2.下载安装包并且上传到指定目录 访问elasticSearch官网地址 https://www.elastic.co/ 下载指定版本的安装包：elasticsearch-7.9.1.tar.gz 通过XFTP上传安装包到指定目录 3.解压安装包至es包下 tar -zxvf elasticsearch-7.9.1.tar.gz
1.1K10编辑于 2023-03-07 - 来自专栏飞鸟的专栏
kubernetes安装loki，作为日志收集平台
Kubernetes是一种流行的容器编排平台，可以帮助开发人员快速、高效地部署和管理容器化应用程序。随着越来越多的应用程序在Kubernetes上运行，对于日志管理和分析的需求也越来越高。 Loki是一个开源的日志聚合平台，专门用于Kubernetes环境下的日志收集和查询。在本文中，我将介绍如何在Kubernetes集群中安装Loki，并将其配置为日志收集平台。 配置日志收集Loki的默认配置将从容器日志中自动收集日志。但是，如果您想将应用程序日志发送到Loki，则需要修改应用程序的日志配置。以下是一个简单的示例，演示如何将应用程序的日志发送到Loki。 假设我们有一个Node.js应用程序，其日志输出使用winston模块进行配置。 查看日志安装Loki后，您可以使用Grafana查询和查看收集的日志。Grafana是Loki默认安装的一部分，可以通过Web界面访问。
2.1K20编辑于 2023-03-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号