1、提交当天访问次数最多的IP,即黑客IP 已知中间件是Linux上的Apache,常见日志路径一般是: /var/log/apache/ /var/log/apache2/ /var/log/httpd / 这里定位到日志路径是/var/log/apache2。 通过命令ls -lah根据文件大小,判断日志文件是access.log.1,因为access.log的大小是0。
系统日志的概念及作用 日志系统作为一种应用程序服务,对于跟踪调试、程序状态记录、崩溃数据恢复都有着重要的作用 常用Java日志系统 Log4J 最早的Java日志框架之一,由Apache基金会发起 ,提供灵活而强大的日志记录机制。 ,输出格式,通过设置日志信息的级别还可以细致地控制日志的生成过程.Log4j有三个主要的组件:Loggers(记录器),Appenders(输出源)和Layouts(布局),这里可简单理解为日志类别,日志要输出的地方和日志以何种形式输出 3.Layout:格式化输出日志信息 Appender必须使用一个与之相关联的 Layout,这样才能知道怎样格式化输出日志信息 Log4j具有三种类型的Layout HTMLLayout 格式化日志输出为 Layouts提供了四种日志输出样式,如HTML样式、自由指定样式、包含日志级别与信息的样式和包含日志时间、线程、类别等信息的样式等等。
数据库连接正常,并且准备创建相应表 Note: 这个过程中要确保 php-mysql 包存在,否则无法与mysql 连接,会出现如下的界面 Tip: 遇到这种情况,先检查一下 php-mysql ,然后重新加载环境变量,重启一下 httpd 服务 安装 php-mysql 的过程 [root@h105 loganalyzer-3.6.6]# yum clean all Loaded plugins: fastestmirror, refresh-packagekit, security Repos
四、Windows日志实例分析 在Windows日志中记录了很多操作事件,为了方便用户对它们的管理,每种类型的事件都赋予了一个惟一的编号,这就是事件ID。 1. 五、WEB日志文件分析 以下列日志记录为例,进行分析: #Software: Microsoft Internet Information Services 6.0 #Version: 1.0 sxjyzx/2.gif - 80 - 192.168.99.236 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) 200 0 0 分析 表示程序有错; sc-substatus 服务端传送到客户端的字节大小; cs–win32-statu客户端传送到服务端的字节大小; 1**:请求收到,继续处理 2**:操作成功收到,分析 有时是为了防止发生系统过载 503——服务器过载或暂停维修 504——关口过载,服务器使用另一个关口或服务来响应用户,等待时间设定值较长 505——服务器不支持或拒绝支请求头中指定的HTTP版本 FTP日志分析
但是后期有些精灵出现一些重叠感,而且虽然都是独特的行为模式但是很多精灵让无法给人留下很深的印象
日志压缩可以保证Kafka总是最少保留单个主题分区的数据日志中的每个消息的key的最后的已知值。 让我们更详细的介绍这些情况,然后描述是如何压缩的: 到目前为止,我们仅描述了简单一些的数据保留方法,其中旧的日志数据在固定时间段或者当日志达到某个预定大小时被丢弃。 这适用于时间事件数据,例如记录独立的日志记录。但是,一类重要的数据流是keyed更改的日志(例如,对数据库表的更改)。 让我们讨论这种流的具体例子。
GC 日志分析 首先,如果需要查看 GC 日志,需要在 jvm 参数中加入如下参数 -XX:+PrintGCTimeStamps -XX:+PrintGCDetails -Xloggc:d:/GClogs /tomcat6-gc.log GC 日志 2016-11-23T11:01:27.738+0800: 0.150: [GC [PSYoungGen: 331K->288K(5952K)] 331K- >288K(19648K), 0.0006495 secs] [Times: user=0.00 sys=0.00, real=0.00 secs] 2016-11-23T11:01:27.739+0800 [Times: user=0.00 sys=0.00, real=0.01 secs] 2016-11-23T11:01:27.859+0800: 0.271: [Full GC (System) [PSYoungGen image Full GC 日志分析 ? image JVM 参数设置 jvm 参数对应堆内存设置 ? image 比例设置 ?
C、如何筛选 如果想要查看账户登录事件,在右边点击筛选当前日志,在事件ID填入4624和4625,4624 登录成功 4625 登录失败 D、事件ID及常见场景 对于Windows事件日志分析,不同的 net user USER PASSWORD /add net localgroup administrators USER /add 0x02 日志分析工具 A、Log Parser Log Parser(是微软公司出品的日志分析工具,它功能强大,使用简单,可以分析基于文本的日志文件、XML 文件、CSV(逗号分隔符)文件,以及操作系统的事件日志、注册表、文件系统、Active Directory -i:EVT –o:DATAGRID “SELECT * FROM c:\11.evtx where TimeGenerated>’2018-06-19 23:32:11′ and TimeGenerated .evtx where EventID=4688 参考链接: 取证实战:Windows日志分析 http://m.sohu.com/a/148102374_505860/?
在nginx.conf中定义的日志格式如下: http { ... http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; ... } 日志文件如下 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36" "-" nginx没有命令直接将日志按天分割 access-api-$(date -d "yesterday" +"%Y%m%d").log cron: 0 0 * * * /mydata/nginx/nginx.log.sh 从nginx服务器将日志数据传输到日志服务器 04", "May":"05", "Jun":"06", "Jul":"07", "Aug":"08", "Sep":"09", "Oct":"10", "Nov":"11
AWStats日志分析系统介绍 1.AWStats日志分析系统 (1)Peri语言开发的一款开源日志分析系统 (2)可用来分析Apache、Samba、 Vsftpd、 IIS等服务 器的访问日志 (3 )信息结合crond等计划任务服务,可对日志内容定期进行分析 部署AWStats日志分析系统 1.安装AWStats软件包 2.为要统计的站点建立配置文件 3.修改站点统计配置文件 4.执行日志分析,并设置 crontab计划任务 访问AWStats分析系统 1.查看统计页面 2.设置网页自动跳转,方便访问 具体操作: 1.安装DNS和HTTP服务软件包 [root@localhost ~]# yum install # systemctl start httpd 4.Windows 10配置 (1)在win10主机上更改下DNS地址 (2)在浏览器上访问域名,保证能够进行对Apache访问 5.此时可以查看下日志文件 /awstats_updateall.pl now //更新数据 11.计划性任务更新数据,并启动 [root@localhost tools]# crontab -e */5 *
日志采用默认的格式产生,一直也没太关注, 这次正好藉着博客改版,尝试分析下近期的日志,以对网站状态有个全局的了解。 网上有许多日志分析采用的是简单粗暴的bash脚本(awk)来进行处理, 好处是分析速度快,但坏处是拓展性不强,如果未来想要做图表或者在网页前端展示就比较麻烦了。 扯得有点远了,还是继续分析日志吧。 错误日志分析 错误日志也叫应用程序日志,主要用于方便开发者或者运维在出问题的时候排查原因。 分析 错误日志相对于访问日志要少(废话),但从中也能找到对我们有价值的信息。
0x03 事件日志分析 对于Windows事件日志分析,不同的EVENT ID代表了不同的意义,摘录一些常见的安全事件的说明: 事件ID 说明 4624 登录成功 4625 登录失败 4634 注销成功 11 缓存交互(CachedInteractive) 以一个域用户登录而又没有域控制器可用 关于更多EVENT ID,详见微软官方网站上找到了“Windows Vista 和 Windows Server 0x04 日志分析工具 Log Parser Log Parser(是微软公司出品的日志分析工具,它功能强大,使用简单,可以分析基于文本的日志文件、XML 文件、CSV(逗号分隔符)文件,以及操作系统的事件日志 它可以像使用 SQL 语句一样查询分析这些数据,甚至可以把分析结果以各种图表的形式展现出来。 Event Log Explorer Event Log Explorer是一款非常好用的Windows日志分析工具。
常见的日志分析问题及解决方案2.1 日志文件格式不统一问题:日志文件格式不统一,导致难以进行统一分析。解决方案:使用日志解析工具将日志文件转换为统一格式。 :日志文件内容复杂,难以直接分析。 解决方案:使用日志分析工具提取关键信息。 解决方案:使用日志聚合和分析工具进行大规模分析。 4.2 优化分析建议:根据系统的变化和新的日志需求,及时优化日志分析工具和配置。
学习笔记:计算机辅助设计 Computer-aided design (CAD)1.定义:①计算机辅助设计是利用计算机(或工作站)帮助创建、修改、分析或优化设计。 是产品生命周期管理(PLM)过程中整个数字产品开发(DPD)活动的一部分,因此与其他工具(集成模块或独立产品)一起使用,例如:①计算机辅助工程(Computer-Aided Engineering,CAE)及有限元分析 3.计算机辅助设计主要用于物理部件的三维模型或二维绘图的详细工程,但也用于整个工程过程,包括产品的风格设计和布局、组件的强度和动态分析,以及部件制造方法的定义。
具体链接请参考windows日志转发_leeezp的博客-CSDN博客_windows日志转发 安装 ewk (es+winlogbeat+kibana) 转发主机日志_leeezp的博客-CSDN博客 这篇文章记录windows事件和日志的对应关系。 (Windows 10) – Windows security | Microsoft Docs 登录失败如果在windows事件查看器 — Windows日志 — 安全 查看不到日志,可能是因为没有开启 在 “审核策略” — “审核登录事件” 开启 “成功” 和 “失败”的日志: 设置完再次mstsc登录失败,在安全日志可以查看到登录失败 事件ID 4625 的告警: 如果没有配置本地安全策略开启登录审计 登录失败不清楚为什么会有1149 认证成功的日志。 这个日志可以用于远程登录失败的审计,无法审计登录成功。登录成功还是需要事先开启本地安全策略审核登录事件。
慢查询日志一般用于性能分析时开启,收集慢SQL然后通过explain进行全面分析,一般来说,生产是不会开启的,收集慢查询语句是十分耗性能的,但是我们在测试环境是可以模拟分析的,优化SQL语句,接下来就通过实战 ,讲解如何开启慢日志查询以及如何分析。 long_query_time=3但是修改为不会立即生效,两种办法:关闭数据库回话重新连接使用 show global VARIABLES like 'long_query_time%' 查看三、模拟慢sql并分析由于本次数据库安装通过 以及耗时多久图片 只要是超过long_query_time的sql都会被记录图片5)查看当前数据有多少条慢sql show GLOBAL STATUS like '%slow_queries%'图片 6)慢日志分析工具 指定日志文件,查看记录集中最多的sqlmysqldumpslow -s r -t 10 /var/lib/mysql/dca928abb464-slow.log图片三、总结本文通过实战demo,一步一步配置分析如何利用慢日志去定位查询耗时的
一、Windows日志文件的保护 日志文件对我们如此重要,因此不能忽视对它的保护,防止发生某些“不法之徒”将日志文件清洗一空的情况。 1. 修改日志文件存放目录 Windows日志文件默认路径是“%systemroot%system32config”,我们可以通过修改注册表来改变它的存储目录,来增强对日志的保护。 、安全日志、系统日志。 设置文件访问权限 修改了日志文件的存放目录后,日志还是可以被清空的,下面通过修改日志文件访问权限,防止这种事情发生,前提是Windows系统要采用NTFS文件系统格式。 二、Windows日志实例分析 在Windows日志中记录了很多操作事件,为了方便用户对它们的管理,每种类型的事件都赋予了一个惟一的编号,这就是事件ID。 1.
前言 长话短说,事情的起因是这样的,由于工作原因需要分析网站日志,服务器是windows,iis日志,在网上找了找,github找了找,居然没找到,看来只有自己动手丰衣足食。 目前分三个模块,一个日志归类模块命名为url.py,攻击分析模块attac.py, ip地理位置查询模块ipfind.py,还有一个主函数。 needlist = [] # 需要统计的 errorlist = [] # 格式错误的列表 ipdict,urldict = {},{} rizhi = str(input('请输入要分析的日志文件名 而未知威胁则不同了,就好比一个0day,攻击waf没用了,日志分析看不出来了,那么只能依靠应急响应以及服务器的报警了。 具体分析:我都是用脚本跑一遍,然后按ip来看会比较方便些,而这里缺少机器识别,我单独写了一个简易的机器识别的东西,其实要实现很简单,把全部日志按时间,url,ip扔进一个列表里统计一下相同时间相同ip的就可以了
0x00 事件 帮助朋友搭建了博客,运行过了一段时间,准备发个网站分析报告给他。 有效的数据只有 Nginx 的访问日志,于是使用决定 GoAccess 工具对这个日志进行分析, 0x01 安装 吾使用的是 CentOS,使用 yum 源进行安装即可。 $ yum -y install goaccess 其他平台可参考官方下载:https://goaccess.io/download 0x02 使用 1、确定日志格式 从 Nginx 的配置中可以查看日志文件的格式 --log-format 指定日志格式字符串。 --date-format 日志格式日期。它们都以百分号(%)开头。 --time-format 日志格式时间。它们都以百分比(%)开头。 3、查看分析文件 最后在浏览器中打开 test.html 文件,就能看到访问日志的具体分析: image.png image.png :
FullEventLogView比eventvwr的优势就不赘言了 http://www.nirsoft.net/utils/full_event_log_view.html 说下使用技巧 外部机器.evtx的分析用它非常方便 ,.evtx一般在C:\Windows\System32\winevt\Logs目录,要分析哪台机器的,把日志拿过来,在FullEventLogView里如下图指定数据源,数据源里的文件后缀用*.evtx 指定条件分析很方便: 条件维度如下图比较多,时间、事件级别、事件ID、来源、描述等 可以指定条件正向过滤,也可以指定条件反向过滤 扩展: 端口耗尽、tcpip相关的事件ID 4227,4231,4266 8197,8198,12288,12289 这样过滤(一般来说用事件ID过滤效率高,过滤得快,如果用description里的字符串过滤,效率会差一些,过滤得慢) 或者 powershell命令过滤日志举例 : tcpip来源的日志4227,4231,4266(如过滤到,则需要放大tcp动态端口范围、缩短timewait回收时间) Get-EventLog -LogName System -Source Tcpip