- 综合排序
- 最热优先
- 最新优先
- 来自专栏java学习java
分析GC日志解读
GC日志分类 MinorGC MinorGC（或young GC或YGC）日志： FullGC GC日志结构剖析 透过日志看垃圾收集器 ● Serial收集器：新生代显示 "[DefNew GC前后情况 通过图示，我们可以发现GC日志格式的规律一般都是：GC前内存占用-＞GC后内存占用（该区域内存总大小） [PSYoungGen: 5986K->696K (8704K) ] 5986K- 透过日志看GC时间 GC日志中有三个时间：user，sys和real user：进程执行用户态代码（核心之外）所使用的时间。 GC日志分析工具 GCEasy GCEasy是一款在线的GC日志分析器，可以通过GC日志分析进行内存泄露检测、GC暂停原因分析、JVM配置建议优化等功能，大多数功能是免费的。 Universal JVM GC analyzer - Java Garbage collection log analysis made easy GCViewer GCViewer是一款离线的GC日志分析器
1.3K20编辑于 2023-10-15 - 来自专栏亚灿网志
scrapy日志信息解读
此条日志打印出Scrapy的版本信息，和我们要爬取的域... 请注意，本文编写于 989 天前，最后修改于 989 天前，其中某些信息可能已经过时。 此条日志打印出Scrapy的版本信息，和我们要爬取的域名： 2020-08-31 18:09:12 [scrapy.utils.log] INFO: Scrapy 2.3.0 started (bot: Baidu) 此条日志打印出了Scrapy使用的Python模块的版本信息： 2020-08-31 18:09:12 [scrapy.utils.log] INFO: Versions: lxml 4.5.2.0 我也不懂... 2020-08-31 18:09:12 [scrapy.extensions.telnet] INFO: Telnet Password: a83367742a88cae9 下面这条日志是 'log_count/INFO': 10, # INFO日志数量 'log_count/WARNING': 1, # 警告日志数量 'response_received_count': 1,
55120编辑于 2023-05-17 - 来自专栏java学习java
JVM之GC日志解读
通过阅读Gc日志，我们可以了解Java虚拟机内存分配与回收策略。 内存分配与垃圾回收的参数列表 -XX:+PrintGC 输出GC日志。 类似：-verbose:gc -XX:+PrintGCDetails 输出GC的详细日志 -XX:+PrintGCTimestamps 输出GC的时间戳（以基准时间的形式） -XX:+PrintGCDatestamps /logs/gc.log 日志文件的输出路径 打开GC日志 -verbose:gc 这个只会显示总的GC堆的变化，如下： [GC (Allocation Failure) 80832K->19298K 打开GC日志 -verbose:gc -XX:+PrintGCDetails [GC (Allocation Failure) [PSYoungGen:70640K->10116K(141312K 打开GC日志 -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimestamps -XX:+PrintGCDatestamps 2023-03-12T22:
79630编辑于 2023-10-15 - 来自专栏java学习java
Nginx之日志模块解读
基本介绍 Nginx日志主要分为两种：access_log(访问日志)和error_log(错误日志)。Nginx日志主要记录以下信息： 记录Nginx服务启动和停止的信息。 如果你不进行任何配置的话，这 2 个日志将会使用默认的日志配置，这个日志将会位于 /var/log/nginx 目录中。 ]]; # 设置访问日志 access_log off; # 关闭访问日志 path 指定日志的存放位置。 format 指定日志的格式。默认使用预定义的combined。 buffer 用来指定日志写入时的缓存大小。默认是64k。 gzip 日志写入前先进行压缩。 ， 日志格式使用默认的combined，指定日志的缓存大小为32k， 日志写入前启用gzip进行压缩，压缩比使用默认值1，缓存数据有效时间为1分钟。
79440编辑于 2023-10-15 - 来自专栏MySQL从删库到跑路
网站日志分析完整实践
分析网站日志可以帮助我们了解用户地域信息，统计用户行为，发现网站缺陷。操作会面临几个问题 日志分析工具splunk如何使用？ 日志格式信息不全，如何配置日志打印出全面信息？ 如果网站用了CDN加速，反向代理，网关等，日志打印的是这些设备的ip，那么用户的真实ip如何获得呢？ 有多少不同的ip访问网站 host="basicserver" | stats dc(clientip) 所有日志记录按时间正序排列 host="basicserver" | sort _time ，或者网站做了CDN加速，那么日志的clientip是代理服务器、网关或者CDN加速服务器的ip，没什么分析价值。 注册站长平台时要证明自己有网站的管理权限，验证方法是可以将指定文件放置到网站根目录。成为站长后可以查询自己网站的索引收录情况，查询搜索引擎给网站带来的流量等指标。还可以投诉爬虫抓取频繁，设定抓取频率。
2.5K20发布于 2020-09-24 - 来自专栏黑光技术
使用Spark分析网站日志
郁闷从昨天开始个人网站不断的发出告警504错误，登录机器看了一下是php-fpm报错，这个错误重启php-fpm后，几个小时就告警，快一年了都没什么问题，奇怪 [28-Sep-2016 11:53:19 www] server reached pm.max_children setting (20), consider raising it 结果后来还是一样，几个小时之后再次504告警，再看nginx的日志 有怀疑是有恶意ip的访问，看来有必要查查访问日志中的ip访问量 root@iZ28bhfjhgkZ:/var/log/nginx# vim access.log 121.42.53.180 - - [25 apple-touch-icon-precomposed.png HTTP/1.1" 404 151 "-" "Safari/12602.1.50.0.10 CFNetwork/807.0.4 Darwin/16.0.0 (x86_64)" 所以对访问日志的
97810发布于 2020-05-14 - 来自专栏MessageQueue
解读Raft（二 选举和日志复制）
我会将Raft协议拆成四个部分去总结： 算法基础 选举和日志复制 安全性 节点变更 这是第二篇：《解读Raft（二 选举和日志复制）》 Leader election Raft采用心跳机制来触发Leader 日志组织形式如上图，每个日志条目中包含可执行的指令、和日志被创建时的任期号，日志条目也包含了自己在日志中的位置，即index。一旦一个日志条目存在于大多数节点，那么该日志条目是committed的。 Raft算法保证了以下特性： 如果两个日志条目有相同的index和term，那么他们存储了相同的指令（即index和term相同，那么可定是同一条指令，就是同一个日志条目） 如果不同的日志中有两个日志条目 (a)(b)可能还没复制到日志 (c)(d)可能曾经是Leader，所有包含了多余的日志（这些日志可能被提交了，也可能没提交） (e)可能是成为Leader之后增加了一些日志，但是在Commit之前又编程了 Leader会找到Follower和自己想通的最后一个日志条目，将该条目之后的日志全部删除并复制Leader上的日志。
99930发布于 2018-07-24 - 来自专栏公众号：懒时小窝
深入理解JVM - 解读GC日志
深入理解JVM - 解读GC日志 前言 这次的文章会根据实战来介绍如何看JVM的日志，看JVM日志说难也难，说容易也容易，更多的是需要时间去不断的尝试进行总结。 概述： 主要内容还是以讲解如何阅读日志，同时不同的机器运行的结果不同，文章更多的是介绍如何解读参数： 参数配置案例 ? space 8192K, 48% used，可以看到即使不运行任何的代码我们也使用了4M左右的空间，那么这4M的空间是什么东西呢，这部分对象其实是JVM自身运行产生的一些对象，这里也会放到后面的文章进行解读 堆溢出测试： 下面来看下堆溢出的情况下GC的日志打印了哪些内容，JAVA异常的信息忽略了，因为影响我们看日志： 参数配置： -verbose:gc -Xms20M -Xmx20M -Xmn10M - 4M的对象，所以只能简单的介绍阅读日志的方法了.....
60930发布于 2021-08-16 - 来自专栏IT从业者张某某
3-网站日志分析案例-MapReduce执行日志清洗
文章目录 3-网站日志分析案例-MapReduce执行日志清洗 准备环境： 1.数据介绍 2.基于IDEA创建Maven工程 3.日志清洗 创建日志清洗类 创建MR 导入HDFS 4.问题解决 问题1： 问题2： 总结 3-网站日志分析案例-MapReduce执行日志清洗 准备环境： Linux环境 Windows环境 均做了调试 本文代码是基于window开发，因为数据量较大时，相比虚拟机，本地运行更顺畅些 这也说明，从2013-05-30之后，日志文件不再是在一个文件里边。 org.apache.log4j.PatternLayout log4j.appender.A1.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n 总结 本文网站日志分析案例中的第 本文主要实现日志的清洗，将54w条日志数据进行清洗，清洗后得到17w条数据。
83120编辑于 2022-11-12 - 来自专栏日志易的专栏
日志易：金融支付行业日志大数据分析案例解读
日志作为数据的载体，蕴含着丰富的信息，传统的日志分析方式低效而固化，无法应对数据体量大、格式不统一、增长速度快的现状，在交易出现异常及失败时，更难以满足实时处理、快速响应的需求。 本文讲述某支付公司采用日志易后，通过日志大数据实现业务深度分析及风险控制的实践经验。 ; 2、开发访问日志的权限管理。 日志易作为国内首家海量日志分析企业，一直致力于开发一款配置方便、功能强大的日志管理工具，以高品质的产品为金融行业用户信息化建设搭建高可靠平台，共同面对数字浪潮中更多的未知与挑战，实现支付企业对日志分析管理产品高效 更多内容，欢迎关注公众号：日志易
3.4K20发布于 2017-05-31 - 来自专栏爱可生开源社区
新特性解读 | MySQL 8.0：死锁日志改进
重要改进 MySQL8.0 的死锁日志可以看到事务1持有的锁信息了： 这对我们分析死锁无疑是个很好的帮助，而在 MySQL5.7 是没有这个信息的，一直饱受诟病： 注意事项 但是这在某些情况下可能会产生一些误会 (`c2`)); insert into t2 values(1,1),(5,4),(20,20); 死锁逻辑： session2 插入成功，对 c2 索引 10 这一记录加 X Lock，即死锁日志中的 但是由于 session2 已经对记录加了 X Lock，与 S Lock 互斥，所以必须等待 session 2 先释放锁，也就是死锁日志中的lock mode S waiting； session2 再次插入 9，在 (4,10] 范围内，这个位置有 session1 的 gap 锁（虽然还在锁队列中，没有加上），插入意向锁会被 gap 锁阻塞，即死锁日志中的 lock_mode X locks
91721编辑于 2021-12-21 - 来自专栏张善友的专栏
网站日志分析工具：WebLog Expert Lite
WebLog Expert Lite，它是一款专门用来分析网站日志文件的软件，可以对网站的来访者进行详细分析，包括当前活动会话统计、文件存取统计、搜索使用情况统计、浏览器/操作系统统计、错误统计等。 然后生成HTML形式的表格和图表报告方便各站长对网站各种情况有一个直观的了解。 download.htm 2、打开WebLog Expert Lite程序，在菜单栏中点击“File-Language”把语言设置成 Chinese Simp 3、点击工具栏第一个图标New，填入你的网站信息后点击下一步 ，导入你从空间服务器下载下来的日志，点完成； 具体操作参照 WebLog Expert
2.2K50发布于 2018-01-30 - 来自专栏進无尽的文章
扒虫篇－崩溃日志解读及Crash收集
这个样子 其实控制台输出的日志信息就是NSException产生的，一旦程序抛出异常，程序就会崩溃，控制台就会有这些崩溃日志。 什么是崩溃日志，从哪里能得它 iOS设备上的应用闪退时，操作系统会生成一个崩溃报告，也叫崩溃日志，保存在设备上。 崩溃日志上有很多有用的信息，包括应用是什么情况下闪退的。 打开itools，在你的设备下，找到“高级功能”，点击“崩溃日志”，然后将需要的日志导出到电脑里面就可以了！ Paste_Image.png 注意：这里的 .crash 必须是真机安装的打包的那个 sometwo 产生的崩溃日志才行，运行其他的版本产生的崩溃日志，以下的解析会失败。 ---- 本文参考文章： 关于崩溃日志解读很详细很棒的的一篇文章 iOS被开发者遗忘在角落的NSException-其实它很强大 http://blog.guoguoday.com/2015/03
3.7K10发布于 2018-09-12 - 来自专栏小脑斧科技博客
JAVA 性能调优 -- 带你解读 CMS GC 日志
-XX:+PrintGCDetails # 输出 gc 日志详细信息 -XX:+PrintGCDateStamps # 打印日志时间 -XX:+UseConcMarkSweepGC # 启用 CMS ，这里我们只对最终标记流程的日志进行详细解读： 2021-02-06T12:42:47.126-0800: [GC (CMS Final Remark) [YG occupancy: 7115 K (18432 GC 日志可视化分析工具 上述少量的日志我们可以通过肉眼查看快速定位程序做了什么，或者找到频繁 GC 的原因。 但对于错综复杂的线上场景，海量的日志，我们就难以这样分析了，此时，一个好用的可视化分析工具对我们来说就至关重要了。 这里我们介绍一个分析网站和一个本地工具，分析起问题来都非常直观。 4.1 GCeasy GC Easy是一款在线的可视化工具，易用、功能强大，网站：http://gceasy.io/ 我们只需要上传 gc 日志，然后点击 Analyze 按钮就可以生成分析报告了。
2.6K30编辑于 2022-06-27 - 来自专栏别先生
大数据平台网站日志分析系统
1：大数据平台网站日志分析系统，项目技术架构图： 2：大数据平台网站日志分析系统，流程图解析，整体流程如下： ETL即hive查询的sql; 但是，由于本案例的前提是处理海量数据，因而，流程中各环节所使用的技术则跟传统 hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： 4：采集网站的点击流数据分析项目流程图分析
3.2K72发布于 2018-01-02 - 来自专栏Python中文社区
Python开源项目介绍：网站日志分析工具
日志分析 日志分析在web系统中故障排查、性能分析方面有着非常重要的作用。 该工具的侧重点不是通常的PV，UV等展示，而是在指定时间段内提供细粒度（最小分钟级别，即一分钟内的日志做抽象和汇总）的异常定位和性能分析。 ，算数平均值的参考意义不大 高性能：本着谁产生的日志谁处理的思想，日志分析脚本loganalyse要在web服务器上定时运行，因而loganalyse的高效率低资源也是重中之重。 前提规范 各台server的日志文件按统一路径存放 日志格式、日志命名规则保持一致(代码中规定格式为xxx.access.log) 每天的0点日志切割 日志格式决定了代码中的正则表达式，是可根据自己情况参考 Apache 日志，按照如上原则，稍作就可以使用该工具分析处理。
1.3K31发布于 2018-07-27 - 来自专栏IT从业者张某某
4-网站日志分析案例-日志数据统计分析
文章目录 4-网站日志分析案例-日志数据统计分析 一、环境准备与数据导入 1.开启hadoop 2.导入数据 二、借助Hive进行统计 1.1 准备工作：建立分区表 1.2 使用HQL统计关键指标 总结 4-网站日志分析案例-日志数据统计分析 一、环境准备与数据导入 1.开启hadoop 如果在lsn等虚拟环境中开启需要先执行格式化 hadoop namenode -format 启动Hadoop start-dfs.sh 因此，这里我们只需要统计出日志中访问的URL是member.php? mod=register')>0; select * from logtable_reguser_2015_05_30; （3）关键指标之三：独立IP数 一天之内，访问网站的不同独立 IP 个数加和 05_30 ; 使用Sqoop导入到MySQL以及可视化展示部分不再介绍，详细可参考 https://www.cnblogs.com/edisonchou/p/4464349.html 总结 本文为网站日志分析案例的第
1.1K30编辑于 2022-11-12 - 来自专栏北京马哥教育
Python开源项目介绍：网站日志分析工具
来源：Python中文社区 ID：python-china 日志分析 日志分析在web系统中故障排查、性能分析方面有着非常重要的作用。 该工具的侧重点不是通常的PV，UV等展示，而是在指定时间段内提供细粒度（最小分钟级别，即一分钟内的日志做抽象和汇总）的异常定位和性能分析。 ，算数平均值的参考意义不大 高性能：本着谁产生的日志谁处理的思想，日志分析脚本loganalyse要在web服务器上定时运行，因而loganalyse的高效率低资源也是重中之重。 前提规范 各台server的日志文件按统一路径存放 日志格式、日志命名规则保持一致(代码中规定格式为xxx.access.log) 每天的0点日志切割 日志格式决定了代码中的正则表达式，是可根据自己情况参考 Apache 日志，按照如上原则，稍作就可以使用该工具分析处理。
1.2K01发布于 2018-07-31 - 来自专栏Zchannel
Logstalgia – 可视化网站日志分析软件
每天被DDoS和CC是不是觉得很头疼，面对这些攻击需要快速丁维攻击的url和IP是一件头疼的事，面对网站access.log那么密密麻麻的访问记录，一条一条的筛选是不可能的，如果可以用一种动画的形式来展示 Logstalgia就是这样的软件，它通过分析Apache、Nginx、Lighttpd等Web服务产生的日志，以可视化展现给管理员，那么下面就来简单介绍怎么使用这款软件。 官方网站 http://logstalgia.io 日志格式 12345678 NCSA通用日志格式（CLF） "％h％l％u％t％”％r％s％b"带虚拟主机的NCSA通用日志格式 "％v％h％l％u ％t“％r "％s％b"NCSA扩展/组合日志格式 "％h％l％u％t \"％r \"％> s％b \"％{Referer} i \"\"％{User-agent } i \""NCSA扩展/组合日志格式与虚拟主机 l％u％t \"％r \"％> s％b \"％{Referer} i \"\"％{User -agent} I \ "" 看不懂没关系，因为我用在OneinStack环境下生成的Nginx访问日志
1.7K20发布于 2018-07-20 - 来自专栏window
网站日志分析：ip地址出现次数统计
案例网站日志分析：ip地址出现次数统计# 统计网站服务器地址出现的次数#log路径log_file = r'E:/work/project/python/access.log'# 打开文件f_obj =
1.5K11编辑于 2023-04-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号