要解决的问题 在开始本文的内容之前,我们需要先在脑海里记住以下几个问题,并带着这些问题来阅读本文: 1、Sysmon日志中,Event ID 11相关的事件日志总共有多少? Sysmon 背景 Sysmon日志是由Microsoft系统监视器(Sysmon)生成的事件日志,它们提供有关Windows上的系统级操作的详细信息,并记录进程启动、网络连接、文件和注册表修改、驱动程序和服务活动以及 WMI操作等活动,通过分析Sysmon日志,安全专家可以检测潜在风险、发现异常并响应安全事件,以增强整体系统监控和安全性。 Sysmon日志在这项工作中发挥着至关重要的作用,它提供了有价值的见解,并使组织能够加强其安全态势。 此时,还可以使用findstr(类似于Linux中的grep)来获取包含4292的日志条目,而4292则是之前进程分析中Firefox的进程ID。
1.安装前准备 借鉴:https://www.cnblogs.com/straycats/p/8053937.html 操作系统:Centos7 虚拟机 8G内存 jdk8+ 软件包下载:采用rpm rpm -ivh elasticsearch-6.4.2.rpm rpm -ql elasticsearch # default /usr/share/elasticsearch #默认日志目录 /var /log/elasticsearch /etc/elasticsearch/elasticsearch.yml 配置文件 path.data #数据目录 path.logs #日志目录 network.host
CentOS 7 下搭建ELK日志分析平台 2018-6-18 一、系统配置 Centos7 1核4G(个人开发机搭来自己分析压测日志的,若是公司级的建议32核64G以上。 //10.33.121.31:9200" # 配置es服务器的ip,如果是集群则配置该集群中主节点的ip logging.dest: /var/log/kibana.log # 配置kibana的日志文件路径 ,不然默认是messages里记录日志 #启动 systemctl start kibana 访问:http://10.33.121.31:5601/ 查看页面 五、安装logstash yum hosts => "localhost:9200" #ES地址 index => "matrixlog" #索引名称 } } 然后再执行,设置默认日志路径 ,并检查日志格式 .
Sysmon+Nxlog+GrayLog实现Windows服务器安全日志监控 Sysmon系统监视器是一种 Windows 系统服务和设备驱动程序,一旦安装在系统上,系统重启后,它仍驻留在系统重启中, 通过使用 Windows 事件收集或 SIEM 代理收集它生成的事件并随后分析这些事件,可以识别恶意或异常活动,并了解攻击者和恶意软件如何在你的网络上运行。 请注意 ,Sysmon 不提供其生成的事件的分析,也不尝试保护或隐藏自身免受攻击者的攻击。 => sysmonout </Route> (图片可点击放大查看) 3、启动nxlog服务 (图片可点击放大查看) 4、GrayLog配置Input 这里为了区别系统日志与Sysmon日志 日志 例如命令行ping www.baidu.com (图片可点击放大查看) 可以查到DNS查询日志和命令行进程日志 (图片可点击放大查看) (图片可点击放大查看)
1.手工日志分析 1.日志文件位置 控制面板→ 管理工具 → 事件查看器 或者win + R:eventvwr.msc 2.EVENT ID含义 对于Windows事件日志分析,不同的EVENT ctrl、alt、delete键(非正常)关机 查看下6009 当然也可以一直查看6005-6009 2.Log Parser等工具使用日志分析 Log Parser下载 使用教程: ://mlichtenberg.wordpress.com/2011/02/03/log-parser-rocks-more-than-50-examples/ LogParser是微软公司提供的一款日志分析工具 ,可以对基于文本格式的日志文件、XML文件和CSV文件,以及Windows操作系统上的事件日志、注册表、文件系统等等进行处理分析,分析结果可以保存在基于文本的自定义格式中、SQL或者是利用各种图表进行展示 Event Log Explorer 下载地址:https://event-log-explorer.en.softonic.com/ Event Log Explorer是一款非常好用的Windows日志分析工具
背景 Windows日志里的事件分析有助于在系统出现异常时分析出异常原因,利于针对问题做出系统的修复和预防。 今天阿祥就整理出Windows常见的事件,分析这些事件的具体原因,希望对系统运维工程师们有一定的帮助! 具体来说,当windows操作系统中的网络流量通过防火墙时,就会生成一条windows安全日志5156事件。 7、事件ID 7045 作用:帮助管理员了解系统中哪些服务在启动时出现了哪些问题 具体记录: ①服务名称指服务的名称,例如“windows Update”。 3.服务依赖关系windows日志ID7045还会记录服务的依赖关系。了解服务之间的依赖关系,从而更好地管理系统。
前情提要: 微软轻量级系统监控工具sysmon内核实现原理 微软轻量级监控工具sysmon原理与实现 前两次我们分别讲了sysmon的ring3与ring0的实现原理,但是当初使用的版本的是8.X的版本 ,最新的版本10.X的sysmon功能有所增加,经过分析代码上也有变化。 线程创建事件 内核里的事件类型是7 ? ? AccessMask; LARGE_INTEGER CreateTime; ULONG StatckTrackInfoSize; ULONG DataLength[3]; CHAR Data[1]; }; 7. 今天的续篇就此结束,sysmon还是可以挖掘很多很实用得东西,比如每个事件里得ProcessGuid 并不是随机生成得,而是有一定算法得,具体读者可以自行研究发现。 ?
以往运维人员在分析日志的时候,相信大家用的最多的方法就是逐个登陆到服务器上面使用sed和awk工具分析,或者撸一个shell脚本或者Python脚本来分析日志。但是此方法不单不直观,而且效率很低。 当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。例如:开源的syslog,将所有服务器上的日志收集汇总。 集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心 ---- ELK介绍 开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。 Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。
ELK7日志分析系统基础(二) 版本区别 ELK6: 默认对外开放访问,需要xpack之类的插件才能开启认证 ELK7: 默认开启安全验证功能 基本环境需求 centos7 关闭防火墙 关闭selinux ,因为对nginx日志权限存在问题,所以要改一下nginx日志权限 [root@centos7-node4 ~]# chmod 775 -R /var/log/nginx/ 查看message日志(一定要有新日志产生 使用一整行日志无法分析,需要提取单独的字段 分析哪个IP的访问量最大 分析nginx的相应状态码 nginx默认日志的格式与配置 日志格式 192.168.56.1 - - [09/Nov/2019:05 建议采用Grafana展示 Logstash分析Linux系统日志 系统日志 [root@centos7-node4 ~]# cat /var/log/secure Nov 21 20:47:54 centos7 logstash采集系统日志(message 日志也类似) [root@centos7-node4 ~]# chmod +r /var/log/secure [root@centos7-node4 ~]
某段时间,内网7层请求异常,是哪里的问题 统计分析 期望有一个全链路的耗时拓扑,request_time,connect,response_time。 开启了http2,是否生效,整个协议占比如何? 核心域名分布在不同实例上,请求占比情况分析。 LB7层接入CLS的方式 单实例接入 选择对应7层实例,点击小圆笔进行编辑即可。 打开"启用日志"开关 选择对应日志集和日志主题即可,如无合适日志集或者日志主题,可以去"访问日志"页面新建,然后点击提交即可完毕。 到日志集管理,选择对应的日志主题(topic)编辑索引。 有日志进来,可以选择自动配置,建议全部打开"开启统计",以便后续的统计分析功能。 批量接入(创建CLB专有日志集) 备注:目前批量接入,需要找CLB产品开启白名单,才可以看到入口。 status:[400 TO 500} AND upstream_addr:"10.0.1.12:80" 分析统计添加Dashboard 分析简介请参考:https://cloud.tencent.com
CentOS7下搭建日志采集分析系统LogAnalyzer LogAnalyzer是一款Web界面syslog日志分析工具。它提供了对日志的简单浏览、搜索、基本分析和一些图表报告的功能。 基于当前的日志数据,它可以处理syslog日志消息,Windows事件日志记录,支持故障排除,使用户能够快速查找日志数据 https://loganalyzer.adiscon.com/ ? /bin/bash wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo sed yum.repos.d/CentOS-Base.repo wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7. MySQL Tools Community baseurl=https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql-tools-community-el7-
4、打开事件查看器,在“应用程序和服务日志/Microsoft/Windows/Sysmon/Operational”中即可查看 sysmon 的监控日志。 至此,我们已经借助 sysmon 分析出当前操作系统中发生过的内存转储行为,当然防御时必须提前配置 sysmon 进行监控。 为了使用 sysmon 监控更多行为,也可以在安装 sysmon 时不添加过滤器,分析时使用事件查看器的过滤器进行筛选。 除了 sysmon,我们还可以使用功能比较强大的 SIEM 系统进行实时监控。 我们尝试从十多台服务器中分析事件 4985 的正常值。 ? 我们还观察了其他 4 台使用 Win7/Win10 的计算机。 结合上面的分析,我们可以通过筛选事件 ID 为 4985 并且 SubjectLogonId 不为“0x3e7”的日志,来检测Process Doppelgänging 技术的使用。
四、Windows日志实例分析 在Windows日志中记录了很多操作事件,为了方便用户对它们的管理,每种类型的事件都赋予了一个惟一的编号,这就是事件ID。 1. 五、WEB日志文件分析 以下列日志记录为例,进行分析: #Software: Microsoft Internet Information Services 6.0 #Version: 1.0 sxjyzx/2.gif - 80 - 192.168.99.236 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) 200 0 0 分析 表示程序有错; sc-substatus 服务端传送到客户端的字节大小; cs–win32-statu客户端传送到服务端的字节大小; 1**:请求收到,继续处理 2**:操作成功收到,分析 有时是为了防止发生系统过载 503——服务器过载或暂停维修 504——关口过载,服务器使用另一个关口或服务来响应用户,等待时间设定值较长 505——服务器不支持或拒绝支请求头中指定的HTTP版本 FTP日志分析
/var/log/audit/audit.log : 默认日志路径 1、监控文件或者目录的更改 auditctl -w /etc/passwd -p rwxa -w path : 指定要监控的路径,上面的命令指定了监控的文件路径 2、查找日志ausearch -a number #只显示事件ID为指定数字的日志信息,如只显示926事件:ausearch -a 926 -c commond #只显示和指定命令有关的事件,如只显示rm 命令产生的事件:auserach -c rm -i #显示出的信息更清晰,如事件时间、相关用户名都会直接显示出来,而不再是数字形式 -k #显示出和之前auditctl -k所定义的关键词相匹配的事件信息 3、日志字段说明
root@vm ~]# cat /etc/profile.d/java11.sh export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.4.11-0.el7_ x] name=Elasticsearch repository for 7.x packages baseurl=https://artifacts.elastic.co/packages/7.x/yum /var/log/secure中收集ssh登录失败日志的配置 [root@vm ~]# cd /etc/logstash/conf.d/ [root@vm conf.d]# vi sshd.conf 验证elasticsearch对应的sshd登录失败日志的索引是否生成 curl localhost:9200/_cat/indices? pretty 可以看出已经有索引生成,接下来在Kibana上进行该索引的添加 下面就可以看到sshd登录失败的大数据分析效果了 CentOS7下ELK日志分析平台的简单搭建就介绍到这里,后面再介绍filebeat
与标准的Windows事件日志相比,Sysmon提供了更详细、高质量的日志信息和更精细的配置控制,是进行深度威胁狩猎和应急响应的基石。#####什么是Sysmon? Sysmon记录关于进程创建、网络连接、文件创建时间变更等详细信息。这些日志通常会被转发到SIEM(安全信息和事件管理)系统中进行聚合、关联和可视化分析,帮助分析师识别恶意或异常活动。 #####日志位置(LogLocation)Sysmon的事件日志存储在事件查看器的以下路径:ApplicationsandServicesLogs/Microsoft/Windows/Sysmon/Operational1 DestinationPortname="Alert,Metasploit"condition="is">4444</DestinationPort></NetworkConnect></RuleGroup>EventID7: Bash展开代码语言:TXTAI代码解释#假设Sysmon.exe和配置文件位于同一目录下Sysmon.exe-accepteula-iswift.xml3.日志分析与最佳实践(LogAnalysisandBestPractices
主要原因在于其缺乏日志级的监控工具以供回溯,所以SYSMON的正确部署能够有效地帮助应急人员快速地定位并处理病毒和攻击事件,也能提供非常丰富的事件回溯。 但是,想要用好SYSMON其实并不是一件非常轻松和简单的事情,它的背后必定要有一个强大的平台和一个强大的团队。平台即为大数据分析平台,可为ELK,可为GrayLog,可为日志易,也可以为Splunk。 因为Splunk的优秀搜索能力和人性化的操作界面,Freebuf中也介绍了非常多的文章如何利用Splunk+SYSMON进行日志分析,从而协助安全人员进行分析。 而与此同时,另外一位大佬olafhartong编写了“sysmon-modular”,分门别类地将SYSMON的各级事件日志详细地分类并规整为一份完整的,系统的ATT&CK矩阵映射的SYSMON配置文件 Splunkbase下载,参见: https://splunkbase.splunk.com/app/4305/,附带的视频介绍非常清晰地演示了该插件的用法,参见:https://youtu.be/zcTrXP7scTU
1、提交当天访问次数最多的IP,即黑客IP 已知中间件是Linux上的Apache,常见日志路径一般是: /var/log/apache/ /var/log/apache2/ /var/log/httpd / 这里定位到日志路径是/var/log/apache2。 通过命令ls -lah根据文件大小,判断日志文件是access.log.1,因为access.log的大小是0。
B550M AORUS ELITE主板对R7 5700G做超频优化了 我这颗CPU,0号、6号、7号核肯定是得特殊照顾下,一般来说大部分程序都是优先跑0号核的,而6号、7号核通过我长期观察是sysmon source_id=1001 2、机器空载的时候,sysmon也在不断监测系统并记录日志,因此有持续不断的IO 参考这个录屏文件 3、由于sysmon频繁写磁盘,可能会对ssd寿命有一定影响 可以通过命令停止 sysmon的日志 停止sysmon日志:wevtutil set-log "Microsoft-Windows-Sysmon/Operational" /enabled:false 启用sysmon日志 :wevtutil set-log "Microsoft-Windows-Sysmon/Operational" /enabled:true 创建开机计划任务,停止sysmon的日志 schtasks 的命令 cmd /c "C:\Windows\sysmon.exe -u force" 2>&1 > $null 卸载sysmon,iOA又会把它装回去,iOA依赖sysmon的监测来实现功能
* uucp,news.crit /var/log/spooler local7. * uucp,news.crit /var/log/spooler local7. @h202 ~]# diff /tmp/before /tmp/after 11a12 > *.* @192.168.100.105 [root@h202 ~]# 增加了一条,将本地的日志记录到远程的服务器 system logger: [ OK ] [root@h202 ~]# ---- 审计本地所有操作 将客户端执行的所有命令写入系统日志