实现nginx日志按照时间分割存储 backups_log.sh #设置log日志的存储地址 LOG_PATH=/home/soft/nginx/logs #设置历史日志的存储地址 HISTORY_LOG_PATH =/home/soft/nginx/history_logs #获取分割日志时所需要的时间当做日志文件名称 TIME=$(date +%Y-%m-%d) #将当前日志备份到指定存储目录 mv ${LOG_PATH }/nginx.pid) 将sh脚本加入到定时任务中,每天23:59执行 crontab -e 添加定时任务 59 23 * * * /home/sh/backups_log.sh 注意事项: 1.在没有执行 kill -USR1 nginx_pid 之前,即便已经对文件执行了mv命令也只是改变了文件的名称,nginx还是会向新命名的文件中照常写入日志数据。 -USR1 是进程间通信的信号中的一种,至于nginx进程接收到该信号做什么操作是它内部定义的,除此之外我们可以使用 kill -l 确认liunx中包含哪些信号
/bin/sh # nginx日志路径 LOGS_PATH=/data/wwwlogs/ TODAY=$(date -d 'today' +%Y-%m-%d) # 移动日志并改名 mv ${LOGS_PATH error.log ${LOGS_PATH}/error_${TODAY}.log mv ${LOGS_PATH}/access.log ${LOGS_PATH}/access_${TODAY}.log # 向nginx 主进程发送重新打开日志文件的信号 kill -USR1 $(cat /usr/local/nginx/logs/nginx.pid) 把上面脚本保存后,加入到crontab里面就可以了。
nginx的日志有个小缺点,日志文件一直就是一个,不会自动地进行切割,如果访问量很大的话,将导致日志文件非常大,不便于管理 这就需要我们自己来实现了,按日期每天生产一个日志文件 思路 每天零点把默认日志文件改名为当天日期 ,再重新打开新的日志文件 使用定时任务来执行脚本,脚本中执行改名和重新打开日志文件的操作 向Nginx主进程发送 USR1 信号,就可以重新打开日志文件 实现 #/bin/bash #备份日志的路径 bakpath='/home/nginx/logs' #nginx日志路径 logpath='/usr/local/nginx/logs' #在备份路径下创建年月子目录 mkdir -p $bakpath /$(date +%Y)/$(date +%m) #移动日志文件到备份路径,并改名为日期格式 mv $logpath/access.log $bakpath/$(date +%Y)/$(date +% $(date +%Y%m%d).log #用 USR1 信号让nginx重新打开日志文件 kill -USR1 `cat /usr/local/nginx/logs/nginx.pid`
Nginx学习:动静分离与日志分割 放轻松放轻松,最后两篇文章学习的内容是比较轻松的。首先,我们来看看 Nginx 动静分离的概念,然后再看看怎么为 Nginx 做日志分割。 日志分割 另一个非常常见的面试题,同时也是非常常用的操作,就是对 Nginx 的日志进行分割。这是什么意思?其实呀,就是我们的访问日志或者错误日志,经年累月的积累,会变得非常多,单个文件也会非常大。 通常我们都会按天对这些日志进行分割,分割之后又会压缩备份或者直接发送走用于处理分析。 Nginx 默认没有日志分割的功能,但是它可以重载配置文件,也可以重开日志句柄,有这两个功能,其实就为我们进行日志分割提供了基础了。那么我们就写一个简单的 shell 脚本来实现吧。 对于 宝塔 这种面板工具来说,在它的计划任务功能中,直接就提供了日志分割的功能。而且这个功能也比较强大,可以按单独的站点,也可以全部都分割,还可以保留多少份备份。
Nginx日志按日期分割的实现在Web服务器管理中,日志文件是监控服务器性能、分析用户行为和排查问题的重要工具。 本文将介绍如何配置Nginx,使其日志文件能够自动按日期进行分割,并提供一些额外的技巧来优化日志管理流程。1. Nginx日志基本配置首先,我们需要了解Nginx的基本日志配置。 使用logrotate进行日志分割虽然Nginx本身不直接支持日志文件的自动按日期分割,但可以通过外部工具logrotate来实现这一功能。 通过上述步骤,你可以实现 Nginx 日志的自动按日期分割,从而有效地管理日志文件。Nginx 日志按日期分割是一个常见的需求,特别是对于高流量的网站来说,这样做可以方便日志管理和分析。 总结以上两种方法都可以实现 Nginx 日志按日期分割。
[针对app,resin,tomcat日志分割脚本]\ [appname:填写app(包含resin/tomcat)的名字;] [key:过滤日志关键字,避免删除其他不必要的文件;\ ] [cleanday :日志保存的周期,缺省保存30天;] [cleanlog:删除日志的记录保存的目录] [核心命令: find命令去查找日志目录下含关键字的日志文件,然后利用for循环去删除\$cleanday之前的日志文件 日志分割脚本:] #! /bin/bash path=/data/log/nginx nginx=` cat /usr/local/nginx/logs/nginx.pid ` mv $path/access.log $path/access_`date +%Y%m%d`.log kill -USR1 $nginx #使用USR1参数通知Nginx进程切换日志文 [] #!
直接在nginx配置文件中,配置日志循环,而不需使用logrotate或配置cron任务。需要使用到$time_iso8601 内嵌变量来获取时间。 按天分割日志 使用下面的代码块 if ($time_iso8601 ~ "^(\d{4})-(\d{2})-(\d{2})") { set $year $1; set $month $2; set <day>\d{2})") {} access_log /data/logs/nginx/www.ttlsa.com-$year-$month-$day-access.log; 按时、分、秒分割 year $1; set $month $2; set $day $3; set $hour $4; set $minutes $5; set $seconds $6; } 非常方便的进行日志分割 建议按小时分割日志,方便分析查询日志。
写在前面 Nginx是没有以日期格式作为文件名来存储的,也就是说,Nginx不像Tomcat,每天自动生成一个日志文件,所有的日志都是以一个名字来存储,时间久了日志文件会变得很大。这样非常不利于分析。 虽然nginx没有这个功能但我们可以写一个小脚本配合计划任务来达到这样的效果。即让Nginx每天产生一个日志文件,方便我们进行后续的数据分析。 分割Nginx日志 首先,我们要创建一个脚本文件,用来分割Nginx日志,具体脚本如下: vim /usr/local/nginx-1.19.1/cutnginxlog.sh 脚本内容如下: #! # nginx日志路径 LOGS_PATH=/usr/local/nginx-1.19.1/logs TODAY=$(date -d 'today' +%Y-%m-%d) # 移动日志并改名 mv 主进程发送重新打开日志文件的信号 kill -USR1 $(cat /usr/local/nginx-1.19.1/logs/nginx.pid) 接下来就是给cutnginxlog.sh文件授权。
一、使用Shell脚本实现Nginx日志分割Shell脚本是实现日志分割的一种简便方法,通过定期执行Shell脚本来切割日志文件,并将旧日志进行压缩和备份。 1.1 Shell脚本实现日志分割的基本步骤我们可以编写一个简单的Shell脚本来自动化这个过程,以下是一个基本的Nginx日志分割脚本示例:#! # 如果日志文件缺失,不报错 rotate 7 # 保留最近7个日志文件 compress # 压缩日志 delaycompress rotate 7:指定保留7个历史日志文件。compress:启用日志压缩功能。create 0640 nginx nginx:设置新日志文件的权限为0640,所有者和组为nginx。 Logrotate:适用于大多数标准的日志分割需求,尤其是生产环境中,能够提供稳定和高效的自动化管理。四、结论在Nginx日志分割的实现上,Shell脚本和Logrotate各有优劣。
一、前言 随着每天业务的增长,Tomcat 的catalina.out日志 变得越来越大,占用磁盘空间不说。要查看某个时候的日志的时候,庞大的日志让你顿时无从下手,所以日志的切割的变得刻不容缓。 而且,切割后的日志,还可以定期清理掉久远的日志...... 二、Tomcat 日志分割 我们采用日期形式切割catalina.out 日志,因此采用cronlog 软件切割: 1、安装 cronlog yum install -y cronolog httpd tips:不能再用原来的catalina.out 来输出日志了哦,因为刚刚不是被我们注释掉了... ? 三、定时清理日志 想要写一个Shell脚本,定期清理掉久远的日志文件 ,避免磁盘不断被占用。
结果,发现好几台 nginx 方向代理服务器的日志居然还没做分割处理,一个 access.log 居然近 200G 大小!真是 I 服了 U ? 于是,就有了下面这个日志切割脚本,按日期切割 nginx 日志,并自动删除 7 天前的日志(日志均已同步至专用日志存储服务器,可放心删除历史日志。) #! 按天切割日志 mv ${LOGS_PATH}/access.log ${LOGS_PATH}/access_${YESTERDAY}.log #向 Nginx 主进程发送 USR1 信号,重新打开日志文件 $2}'` #删除7天前的日志 cd ${LOGS_PATH} find . -mtime +7 -name "*20[1-9][3-9]*" | xargs rm -f exit 0 将这个脚本添加到计划任务,每天执行一次即可: 1 0 * * * /usr/local/script
1.2 Nginx日志格式 打开nginx.conf配置文件:vim /usr/local/nginx/conf/nginx.conf 日志部分内容: #access_log logs/access.log 1.3 Nginx自定义日志 打开nginx.conf配置文件去掉#注释见下图: ? 自定义某一个server配置的日志,使用“main”日志格式。 ? 1.4 Nginx日志分隔 nginx的日志文件没有rotate功能。编写每天生成一个日志,我们可以写一个nginx日志切割脚本来自动切割日志文件。 第一步就是重命名日志文件,不用担心重命名后nginx找不到日志文件而丢失日志。在你未重新打开原名字的日志文件前,nginx还是会向你重命名的文件写日志,Linux是靠文件描述符而不是文件名定位文件。 第二步向nginx主进程发送USR1信号。nginx主进程接到信号后会从配置文件中读取日志文件名称,重新打开日志文件(以配置文件中的日志名称命名),并以工作进程的用户作为日志文件的所有者。
ELK7.x日志系统搭建 2. Nginx、Cluster等日志收集 接着上篇文章,我们把环境搭建好后,我们需要对一些应用程序进行日志收集了,方便我们对整个项目的监控和管理。 grok 过滤功能,这样就等于可以跳过 filter 阶段 修改源日志格式 将需要的日志格式进行规则输出,logstash只负责日志的收集和传输,不对日志做任何过滤处理(生产者自定义日志格式) 这个就是在收集生产日志的过程中 ;是企业首选方案 我们的例子都以配置好的日志格式进行传输,有兴趣了解 grok 的去官网看看 收集多节点nginx日志 配置nginx日志输出 ## # Log Format ## log_format /access.log json; error_log /var/log/nginx/error.log error; 配置 logstash vi . /conf.d/nginx-access.conf input{ file { path => "/var/log/nginx/access.log" type
一,配置nginx服务器的日志路径 1,编辑conf文件 vim /etc/nginx/nginx.conf , 不同服务可能路径有所不同 #access_log logs/access.log main; 日志生成的到Nginx根目录logs/access.log文件,默认使用“main”日志格式,也可以自定义格式。 2,自定义日志路径 access_log /var/log/nginx/edu.moxiu.net.access.log main; error_log /var/log/nginx/edu.moxiu.net.error.log ; 3,有时候nginx日志会使用vhosts目录进行配置 nginx引入vhosts目录 如何引入: 在nginx.conf文件中http括号内增加 include vhosts/*.conf; 创建 ,include vhosts/inc/base.conf; 规范化,结构化 二,分析nginx日志 1,tail -f access.log 实时监测日志 2,cat access.log 打印列出日志信息
1.nginx_log_rotate.sh文件 #nginx日志切割脚本 #author: joshau317 #! /bin/bash #1.设置日志文件存放目录,假设你的nginx的日志存在这个目录里 logs_path="/data/logs/nginx/" #2.设置pid文件,这个根据你自己的环境,找到nginx.pid 所在目录 pid_path="/usr/local/nginx/logs/nginx.pid" #3.创建分割存储的日期文件目录 datetime=`date -d "yesterday" +"%Y% m%d"`; new_log_path=$logs_path$datetime mkdir -p $new_log_path #4.按照日期移动所有该目录下的日志文件 log_file_list=`ls 主进程发信号重新打开日志 kill -USR1 `cat ${pid_path}` 2.设置定时任务 0 0 * * * /data/sh/nginx_log_rotate.sh
Nginx 日志对于大部分人来说是个未被发掘的宝藏,总结之前做某日志分析系统的经验,和大家分享一下 Nginx 日志的纯手工分析方式。 Nginx 日志相关配置有 2 个地方:access_log 和 log_format 。 +a 打出)分割每个字段。 "|"$4}' 6.查找 502 错误最多的 URL: cat access.log | awk -F '^A' '{if($5==502) print $11}' | sort | uniq -c 7. link:http://blog.eood.cn/nginx_logs 想起很早之前zone有人问过nginx日志分析,正好今天看到这篇文章,自己实践了下,觉得不错,分享下:)
手动切割 --进入日志目录 cd /usr/local/nginx/logs/ --重命名日志文件 [root@host1 logs]# mv access{,. ,执行重命名日志文件命令后,日志目录中自动生成了一个新的'access.log'文件 /usr/local/nginx/sbin/nginx -s reopen 重命名日志文件后,'nginx'日志仍然会写入到 [root@host1 /]# vim /etc/logrotate.d/nginx /usr/local/nginx/logs/access.log { daily rotate 7 missingok 指定需要轮转处理的日志文件 daily 日志文件轮转周期,可用值为'daily/weekly/yearly' rotate 7 轮转次数,即最多存储7个归档日志,会删除最久的归档日志 '信号是为了告诉'nginx'进程重新打开日志文件
但是自己要实现这一套逻辑还是满繁琐的,所以初步还是考虑用 Nginx 的一些功能来代替,其中流量统计就考虑使用 Nginx 自带的日志来分析。 考虑到日后日志大小过大,NodeJs读取会花太多时间,所以是要按天来切割日志,刚开始我写了一个简单的脚本。利用 crontab 的定时功能。 先按日期重命名文件,然后新建一个同名的日志文件让 Nginx 来写入,实际测试发现新建的 log 并没有被写入。 但是 Nginx reload 却可以,最终网上找到了 killall -s USR1 nginx 这条命令来通知 Nginx 重新创建新的日志 #! /"${target} killall -s USR1 nginx #touch $log
前言 Nginx日志对于统计、系统服务排错很有用。 Nginx日志主要分为两种:access_log(访问日志)和error_log(错误日志)。 /access.log 图片 设置error_log 错误日志在Nginx中是通过error_log指令实现的。 测试按分钟分割 编写脚本 vim logaccess.sh #! ${LOG_BAK}.log #向nginx主进程发信号重新打开日志 kill -USR1 `cat /run/nginx.pid` chmod +x logaccess.sh 设置定时任务 crontab ${LOG_BAK}.log #向nginx主进程发信号重新打开日志 kill -USR1 `cat /run/nginx.pid` 设置定时任务 crontab -e #每天23:59分开始执行 59
背景 nginx的日志默认是不会自动切割的,所以日志体积会越来越大,因此有必要对日志进行切割 nginx日志切割实现方式 脚本切割 logrotate 脚本切割 1 2 3 4 5 6 7 fi fi 添加到计划任务里: 1 2 3 4 #切nginx日志(错误日志和访问日志) 01 00 * * * root cd /devilf/script;sh cut_ngx_log.sh &>/dev/null #只保留7天的日志 00 07 * * * root cd /devilf/script;sh del_log.sh &>/dev/null 这里将日志记录保存七天,七天之前的日志将删除 1 2 3 4 5 6 7 8 9 10 11 12 13 14 #! 4096 Feb 25 00:01 2018-02-24 #按照天进行分割,每天一个目录,每个目录里有访问日志和错误日志 drwxr-xr-x 2 root root 4096