- 综合排序
- 最热优先
- 最新优先
- 来自专栏用户4624600的专栏
nginx日志可视化
背景 之前公司搭建的测试环境,后端服务和前端页面都是通过nginx配置进行转发.在维护环境的过程中,经常会出现环境不通的问题,以往排查问题都是通过nginx的日志排查,但是有些麻烦,需要登录服务器查看, 想着把nginx的日志可视化,便于查看和维护. proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_pass http://backend/; } } } nginx日志 启动nginx后,所有日志会以json的形式存到文件中 filebeat配置 这里比较重要的是链接es的地址需要是ip或者域名 filebeat.inputs: - type: log enabled
62120编辑于 2022-04-27 - 来自专栏java干货
可视化GC日志分析工具
概述 本章給大家推荐一款web可视化分析GC日志工具 准备测试代码 public class TestGC { // 实现：不断的产生新的数据（对象），随机的废弃对象（垃圾） public /gc.log GC Easy 可视化工具 GC Easy是一款在线的可视化工具，易用、功能强大，网站：http://gceasy.io/ ? 堆信息 ? 关键的绩效指标 ? 图表展示 ?
1.3K10发布于 2021-02-19 - 来自专栏WalkingCloud
轻量级日志可视化平台Grafana Loki接入nginx访问日志
轻量级日志可视化平台Grafana Loki接入nginx访问日志 Loki简单介绍 Loki：像 Prometheus，但用于日志。 Loki 是受Prometheus启发的水平可扩展、高可用、多租户日志聚合系统。它的设计非常经济高效且易于操作。它不索引日志的内容，而是索引每个日志流的一组标签。 与其他日志聚合系统相比，Loki： 1、不对日志进行全文索引。通过存储压缩的非结构化日志和仅索引元数据，Loki 操作更简单，运行成本更低。 2、使用您已经在 Prometheus 中使用的相同标签对日志流进行索引和分组，使您能够使用您已经在 Prometheus 中使用的相同标签在指标和日志之间无缝切换。 基于 Loki 的日志堆栈由 3 个组件组成： promtail是代理，负责收集日志并发送给 Loki。 loki是主服务器，负责存储日志和处理查询。 Grafana用于查询和显示日志。
5.5K11编辑于 2022-12-06 - 来自专栏小道
Flink日志采集-ELK可视化实现
针对按照⽇志⽂件⼤⼩滚动⽣成⽂件的⽅式，可能因为某个错误的问题，需要看好多个⽇志⽂件，还有Flink on Yarn模式提交Flink任务，在任务执行完毕或者任务报错后container会被回收从而导致日志丢失 二、Flink配置将日志写入Kafka 2.1 flink-conf.yaml增加下面两行配置信息 env.java.opts.taskmanager: -DyarnContainerId=CONTAINER_ID org.apache.flink.shaded.akka.org.jboss.netty.channel.DefaultChannelPipeline logger.netty.level = OFF #通过 flink on yarn 模式还可以添加⾃定义字段 # 日志路径 TopSpeedWindowing" \ /root/software/flink-1.16.1/examples/streaming/TopSpeedWindowing.jar 【注意】启动脚本需要加入这个参数，日志才能采集到任务名称 ElasticHD，本地运行后可以直连ES 五、Kibana部署 部署过程略，网上都有 启动脚本: kibana-6.3.1-linux-x86_64/bin/kibana 5.1 配置规则 5.2 日志分析
1.2K70编辑于 2023-11-05 - 来自专栏Zchannel
Logstalgia – 可视化网站日志分析软件
Logstalgia就是这样的软件，它通过分析Apache、Nginx、Lighttpd等Web服务产生的日志，以可视化展现给管理员，那么下面就来简单介绍怎么使用这款软件。 官方网站 http://logstalgia.io 日志格式 12345678 NCSA通用日志格式（CLF） "％h％l％u％t％”％r％s％b"带虚拟主机的NCSA通用日志格式 "％v％h％l％u ％t“％r "％s％b"NCSA扩展/组合日志格式 "％h％l％u％t \"％r \"％> s％b \"％{Referer} i \"\"％{User-agent } i \""NCSA扩展/组合日志格式与虚拟主机 l％u％t \"％r \"％> s％b \"％{Referer} i \"\"％{User -agent} I \ "" 看不懂没关系，因为我用在OneinStack环境下生成的Nginx访问日志 Logstalgia/releases/download/logstalgia-1.0.9/logstalgia-1.0.9.win64-setup.exe 下载之后安装，Logstalgia包括一个示例访问日志
1.7K20发布于 2018-07-20 - 来自专栏SpringBoot 核心技术
ApiBoot Logging Admin可视化界面管理日志
ApiBoot Logging Admin支持界面可视化查看请求日志信息，初期版本支持查看上报日志的服务列表、最新的链路日志等功能，还可以整合Spring Security配置用户名、密码 创建Logging Security 当我们集成Spring Security时，直接访问 http://localhost:8080 就可以查看ApiBoot Logging Admin提供的可视化界面，不过为了安全起见 链路日志列表 登录成功后会跳转到链路日志列表页面，点击每一行链路日志都可以展开查看详情，效果如下所示： ? 日志服务列表 日志服务菜单内可以查看每一个服务的基本信息，最后上报的时间以及第一次上报日志的时间，如下图所示： ? 敲黑板，划重点 ApiBoot Logging Admin目前支持可视化界面查看日志、服务基本信息，功能还在不断丰富，完整度有待提高。
1.2K20发布于 2019-11-11 - 来自专栏开源部署
构建可视化日志管理服务器
我们可以通过集中式日志服务器将多台机器的日志收集在一个日志服务器，然后通过脚本或者其他方式去分析，但是真正做过运维的小伙伴明白，日子收集在硬盘上，硬盘的空间有限且大文件分析起来IO压力超级大，分析日志需要高超的技术 ，一般运维人员分析起来会很困难，更无法实时的去查看某个机器的日志。 这样的话我们的日志收集就变成了真正意义上的收集了，收集起来如何利用就变成了一个难题，总结一下主要的问题就是以下几点： 日志文件巨大，硬盘IO压力大 无法实时分析 分析需要消耗很多计算机资源且困难 如何解决这个问题呢 IO压力:我们可以将日志收集在数据库中，海量的日志通过分布式存储的底层支撑加上数据库对数据的高效管理，使得数据读写变得轻松，避免了原理日志服务器的IO压力。 分析需要消耗很多计算机资源：分布式处理分担处理压力 接下来我就给大家介绍一款高性能的日志收集、存储、分析架构， 同时也是一个可以使用web页面查看日志的可视化架构： rsyslog+mariadb
75230编辑于 2022-09-15 - 来自专栏无量测试之道
Anemometer将Mysql慢查询日志可视化
工作原理： Anemometer： 实现慢查询sql可视化 pt-query-digest ：抽取慢查询日志 /etc/my.cnf 开启慢查询 【 #slow_query log_queries_not_using_indexes long_query_time=1 slow_query_log=1 】 部署架构（单机部署）： httpd 服务【相当于是tomcat 的用途，去为Anemometer提供服务】 pt-query-digest 慢查询日志抓取导入 【从慢查询日志里面提取慢sql 写入到Anemometer 自身的数据库中,后面会将它写入定时任务中】 Anemometer 可视化展示【安装目录：/var/www/htm】 搭建Anemometer
1.1K20编辑于 2022-07-04 - 来自专栏cwl_Java
性能优化-可视化GC日志分析工具
4、可视化GC日志分析工具 4.1、GC日志输出参数 前面通过-XX:+PrintGCDetails可以对GC日志进行打印，我们就可以在控制台查看，这样虽然可以查看GC的信息，但是并不直观，可以借助于第三方的 GC日志分析工具进行查 看。 在日志打印输出涉及到的参数如下： ‐XX:+PrintGC 输出GC日志 ‐XX:+PrintGCDetails 输出GC的详细日志 ‐XX:+PrintGCTimeStamps 输出GC的时间戳（以基准时间的形式 /logs/gc.log 日志文件的输出路径 测试： ‐XX:+UseG1GC ‐XX:MaxGCPauseMillis=100 ‐Xmx256m ‐XX:+PrintGCDetails ‐ XX:+PrintGCTimeStamps 4.2、GC Easy 可视化工具 GC Easy是一款在线的可视化工具，易用、功能强大，网站：http://gceasy.io/ ? 上传后，点击“Analyze”按钮，即可查看报告 ?
1.5K20发布于 2020-02-13 - 来自专栏FreeBuf
SOC日志可视化工具：SOC Sankey Generator
简介 SOC Sankey Generator是一款从SOC日志中进行数据ETL与数据可视化的工具，可以快速将日志呈现为Sankey图，Sankey图常常应用于具有数据流向关系的可视化分析，在安全中适合描述源对目标发起了何种攻击事件 github.com/LennyLeng/SOC_Sankey_Generator） 环境&依赖 python3 pandas(必选，用于处理csv) pyinstaller(可选，exe打包用) 用法 将日志文件整理成表头为
1.1K30发布于 2020-04-21 - 来自专栏运维监控日志分析
可视化日志采集分析平台建设方案
6.4 Windows 日志仪表盘 七、Discover 查看搜索日志 7.1 Nginx 搜索日志 7.2 网络搜索日志 7.3 Linux搜索日志 7.4 ，不利于问题的快速定位和排查； 集群和分布式的系统需要查看多个服务器的日志 日志保存的时间不统一，不能长时间保存日志 （二）需求说明与分析 不需要运维开发人员登录生产服务器就能查看日志； 实现统一规范日志配置和输出格式 Logstash 是一个用来搜集、分析、清洗过滤日志的工具。它支持几乎任何类型的日志， 包括系统日志、错误日志和自定义应用程序日志。 Grafana Grafana是一款用go语言开发的跨平台的开源度量分析和可视化工具，可以通过将采集的数据进行查询监控可视化的展示。 四、实施方案 1、日志类型 ◆ Nginx日志：Nginx访问日志以及Nginx错误日志。 ◆ 网络设备日志：网路设备硬件告警信息 端口UP/Down 等日志。
5.4K44发布于 2020-05-15 - 来自专栏AIUAI
Caffe - 训练日志 log 可视化分析
Caffe - 训练日志 log 可视化分析 在采用 shell 脚本进行 caffe 训练时，可以输出训练过程到log 文件，如 $CAFFE_ROOT/build/tools/caffe train
1.3K20发布于 2019-02-18 - 来自专栏网罗开发
高效日志管理与可视化：Loki与Grafana结合优化高频日志处理
摘要在现代分布式系统中，日志管理是一个至关重要的环节。传统的日志系统在处理高频日志时往往表现不佳，导致查询延迟高、检索效率低。 Loki是一个由Grafana Labs开发的轻量级日志聚合系统，专门为云原生环境设计，能够高效地处理高频日志。结合Grafana的强大可视化能力，Loki能够显著提升日志分析的效率。 Loki通过标签（labels）来索引日志，而不是像传统日志系统那样对日志内容进行全文索引。 日志采样：对于高频日志，可以使用采样来减少查询的数据量。 Loki的轻量级设计和高效的标签索引机制使得它非常适合处理高频日志，而Grafana的强大可视化能力则使得日志分析变得更加直观和高效。
1.1K10编辑于 2025-02-24 - 来自专栏日志服务CLS
腾讯云CLB日志接入分析可视化告警
终端客户反馈部分请求异常，比如缓慢，RS日志记录response_time正常，耗时来自哪里？ 打开"启用日志"开关 选择对应日志集和日志主题即可，如无合适日志集或者日志主题，可以去"访问日志"页面新建，然后点击提交即可完毕。 到日志集管理，选择对应的日志主题(topic)编辑索引。 有日志进来，可以选择自动配置，建议全部打开"开启统计"，以便后续的统计分析功能。 批量接入（创建CLB专有日志集） 备注：目前批量接入，需要找CLB产品开启白名单，才可以看到入口。 建议：按照业务实际情况区分不同的日志主题，比如http层，缓存层，数据层或者按照业务维度，金融业务，主站业务，订单业务等，因CLS也同时是一个管道，对应不同的日志主题可以选择不同的路径，到COS，CKAFKA 开通白名单后，点击"访问日志"按钮，进入clblog日志集配置页面。 CLB日志集名称是固定的，无需填写，可以选择保存时间。
2K60发布于 2021-04-08 - 来自专栏程序工场
今晚九点|可视化分析 web 访问日志
模板语言 -打印变量 -流程控制（条件、循环） -过滤器 -模板继承 geoip2 用于 maxmind 二进制库 mmdb 查询 -打开文件 -获取 ip 信息(国家、城市、地理位置等) -关闭文件 可视化组件 echarts 介绍 项目地址：http://echarts.baidu.com/echarts2/ 项目介绍：可视化 JS 组件 目前主要版本：2.0 & 3.0 使用步骤（3 + 3）：http: web 服务器记录的网站被访问的过程日志 日志属性 -什么时候 -什么人 -通过什么工具 -以什么方式 -访问了什么资源 -结果是什么（状态/返回数据大小） 每天的点击量、总点击数量 -每天的日志行数、 日志的总行数（每天的日志行数之和） 每天的浏览者数量、总浏览者数量 -每天的不重复的 IP 的数量 -总的不重复的 IP 数量（每天不重复的 IP 数量之和？？？） N IP 列表 通用日志的格式 ?
94220发布于 2018-12-10 - 来自专栏日常学python
今晚九点|可视化分析 web 访问日志
内容目录 Python 基础 使用模块介绍 可视化组件 echarts 介绍 Web 访问日志 代码解读 讲师：KK 多语言混搭开发工程师，多年 PHP、Python 项目开发经验，曾就职 360、绿盟科技 模板语言 -打印变量 -流程控制（条件、循环） -过滤器 -模板继承 geoip2 用于 maxmind 二进制库 mmdb 查询 -打开文件 -获取 ip 信息(国家、城市、地理位置等) -关闭文件 可视化组件 echarts 介绍 项目地址：http://echarts.baidu.com/echarts2/ 项目介绍：可视化 JS 组件 目前主要版本：2.0 & 3.0 使用步骤（3 + 3）：http: web 服务器记录的网站被访问的过程日志 日志属性 -什么时候 -什么人 -通过什么工具 -以什么方式 -访问了什么资源 -结果是什么（状态/返回数据大小） 每天的点击量、总点击数量 -每天的日志行数、 N IP 列表 通用日志的格式 ?
78430发布于 2018-12-07 - 来自专栏Web技术布道师
可视化实时Web日志分析工具，堪称神器！
但由于种种历史原因，Nginx日志分析工具相较于传统的apache、lighthttp等还是少很多。 今天就和大家分享一个非常强大的实时日志分析工具，它安装简单，功能强大，支持Nginx日志格式，是新一代互联网企业手中又一犀利武器！ ? GoAccess是一个实时的Apache / Nginx / Lighttpd Web日志分析器和交互式查看器，可在终端中运行，能为系统管理员提供快速且有价值的 HTTP 统计，并以在线可视化服务器的方式呈现 支持几乎所有Web日志格式， GoAccess允许任何自定义日志格式字符串。 支持增量日志处理，GoAccess能够通过磁盘上的B + Tree数据库逐步处理日志，保持数据持久性。 goaccess -f /var/log/nginx/access.log 置日志文件的日志格式 ? 在屏幕上查看交互式报告，报告如下： ? 如何生成HTML报告？
8.8K50发布于 2019-03-29 - 来自专栏我是攻城师
海量可视化日志分析平台之ELK搭建
L=LogStash ， 一款分布式日志收集系统，支持多输入源，并内置一些过滤操作，支持多输入元 K=Kibana ， 一款配合ElasticSearch的web可视化界面，内置非常各种查询，聚合操作 在实际应用中，我们的日志是非常重要的，它通常会记录一些比较重要的信息，如应用程序的log记录的error，warn级别的log，通常在量小的情况下，我们可以直接vi+awk+sed+grep定位原因，在量大的时候 四： 至此，ELK组件已经安装完毕，带图形化界面的简单日志查询分析系统就搞定了 本篇只是一个简单的入门例子，如需深入可以研究elastic的官网文档： https://www.elastic.co
1.6K60发布于 2018-05-14 - 来自专栏运维监控日志分析
ELK 部署可视化网络日志分析监控平台
系统管理员通常面临问题如下： 日常维护过程中不可能登录到每一台服务器和设备上去查看日志，设备出现异常报警无法及时发现； 网络设备上的存储空间有限，不可能存储日期太长的日志，而系统出现问题又有可能是很久以前发生的某些操作造成的 ； 在某些非法侵入的情况下，侵入者一般都会清除本地日志，清除侵入痕迹； zabbix等监控系统无法代替日志管理，无法监控如系统登录、计划任务执行等项目。 基于上述原因，在当前的网络环境中搭建一台用于日志集中管理的Rsyslog日志服务器就显得十分有必要了,设备的哭喊没有日志分析系统怎么能及时听得到。 ，将处理完成的日志数据传到es上存储，并在kibana上做进一步的可视化展示。 创建可视化数据表 ? kibana的数据表可导出为CSV文件 ? 创建可视化饼图 ? 查看每台设备日志量占比日志量大的设备要重点关注 ? 网络设备日志分析监控可视化仪表盘 ?
4.7K30发布于 2020-02-19 - 来自专栏网站教程
如何做 Nginx 安全日志分析可视化？
，之前介绍原理规则的时候，也介绍了它的日志规则，但是在使用过程中，纯文本的记录方式，对于入侵分析太不友好了 所以今天介绍一款管理 ModSecurity 日志的开源项目 WAF-FLE WAF-FLE 是专门用来处理ModSecurity日志和事件的控制台，管理员可以通过WAF-FLE查看和搜索ModSecurity记录的日志 WAF-FLE是PHP写的开源项目，搭建需要LNMP/LAMP环境 环境需求 ，点击菜单栏的management，添加sensor 保存后，即创建好一个sensor，用来接收日志 创建好之后，在这个sensor上面，开始配置事件接收器 这里选着用mlog2waffle的方式接收日志 mlog2waffle已经开始通过put方法将日志解析成event，传输到waf-fle 在mlog2waffle的readIndex方法中，因为要读取并解析日志索引文件，所以有一个正则匹配如图： 这里需要你更具自己记录的日志格式进行修改匹配，完全匹配后，才能正确读取到日志，并解析后通过send_event方法将解析后的内容通过PUT方法传输到waf-fle进行展示 waf-fle的接收文件就一个
58700发布于 2021-07-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号