今天说一说MySQL慢查询(一) - 开启慢查询[通俗易懂],希望能够帮助大家进步!!! 一、简介 开启慢查询日志,可以让MySQL记录下查询超过指定时间的语句,通过定位分析性能的瓶颈,才能更好的优化数据库系统的性能。 二、参数说明 slow_query_log 慢查询开启状态 slow_query_log_file 慢查询日志存放的位置(这个目录需要MySQL的运行帐号的可写权限,一般设置为MySQL的数据存放目录) SQL语句 mysql> select sleep(2); 2.查看是否生成慢查询日志 ls /usr/local/mysql/data/slow.log 如果日志存在,MySQL开启慢查询设置成功! 下一篇:MySQL慢查询(二) - pt-query-digest详解慢查询日志
二、参数说明 slow_query_log 慢查询开启状态 slow_query_log_file 慢查询日志存放的位置(这个目录需要MySQL的运行帐号的可写权限,一般设置为MySQL的数据存放目录 ) long_query_time 查询超过多少秒才记录 三、设置步骤 1.查看慢查询相关参数 ? 2.设置方法 方法一:全局变量设置 将 slow_query_log 全局变量设置为“ON”状态 mysql> set global slow_query_log='ON'; 设置慢查询日志存放的位置 四、测试 1.执行一条慢查询SQL语句 mysql> select sleep(2); 2.查看是否生成慢查询日志 ls /usr/local/mysql/data/slow.log 如果日志存在,MySQL 开启慢查询设置成功!
慢查询日志概念 MySQL的慢查询日志是MySQL提供的一种日志记录,它用来记录在MySQL中响应时间超过阀值的语句,具体指运行时间超过long_query_time值的SQL,则会被记录到慢查询日志中 默认情况下,Mysql数据库并不启动慢查询日志,需要我们手动来设置这个参数,当然,如果不是调优需要的话,一般不建议启动该参数,因为开启慢查询日志会或多或少带来一定的性能影响。 慢查询日志支持将日志记录写入文件,也支持将日志记录写入数据库表。 相关的参数设置 slow_query_log :是否开启慢查询日志,1表示开启,0表示关闭。 开启了慢查询日志只对当前数据库生效,如果MySQL重启后则会失效。 host_name-slow.log(如果没有指定参数slow_query_log_file的话) 那么开启了慢查询日志后,什么样的SQL才会记录到慢查询日志里面呢?
Mysql慢查询和慢查询日志分析 众所周知,大访问量的情况下,可添加节点或改变架构可有效的缓解数据库压力,不过一切的原点,都是从单台mysql开始的。 第一步应该做的就是排查问题,找出瓶颈,所以,先从日志入手 开启慢查询日志 mysql>show variables like “%slow%”; 查看慢查询配置,没有则在my.cnf中添加,如下 log-slow-queries 【说明】 queries total: 总查询次数 unique:去重后的sql数量 sorted by : 输出报表的内容排序 最重大的慢sql统计信息, 包括 平均执行时间, 等待锁时间, 结果行的总数 Time, 执行时间, 包括总时间, 平均时间, 最小, 最大时间, 时间占到总慢sql时间的百分比. 95% of Time, 去除最快和最慢的sql, 覆盖率占95%的sql的执行时间. Lock Time, 等待锁的时间. 95% of Lock , 95%的慢sql等待锁时间. Rows sent, 结果行统计数量, 包括平均, 最小, 最大数量.
前提介绍 为何分页查询在测试环境没事,在生产上几千万的数据就出现了问题 在平时开发时,由于数据量没有那么大,所以测试有时候会不到位,比如用到的分页查询,使用不规范时,数据量越大,查询越慢,而且有 长时间进程不结束 ,会导致内存不足等风险 传统分页查询:SELECT c1,c2,cn… FROM table LIMIT n,m MySQL的limit工作原理就是先读取前面n条记录,然后抛弃前n条,读后面m条想要的, 1、尽量给出查询的大致范围 SELECT c1,c2,cn… FROM table WHERE id>=20000 LIMIT 10; 2、子查询法 SELECT c1,c2,cn… FROM table WHERE id>= ( SELECT id FROM table LIMIT 20000,1 ) LIMIT 10; 3、子查询2 SELECT * FROM product a JOIN (select member ORDER BY last_active LIMIT 50,5 优化后SQL: SELECT c1, c2, cn .. .
global slow_query_log = off; 即可 2、临时设置慢查询时间临界点 查询时间高于这个临界点的都会被记录到慢查询日志中(如果需要长时间开启,则需要更改mysql配置文件,第6 table或者file,如果是table则慢查询信息会保存到mysql库下的slow_log表中 4、查询慢查询日志的开启状态和慢查询日志储存的位置 show variables like ‘%quer 2、使用pt-query-digest工具进行分析 mysqldumpslow是mysql安装后就自带的工具,用于分析慢查询日志,但是pt-query-digest却不是mysql自带的,如果想使用pt-query-digest (4)如何通过pt-query-digest 慢查询日志发现有问题的sql 1)查询次数多且每次查询占用时间长的sql 通常为pt-query-digest分析的前几个查询 2)IO消耗大的sql 注意 2、count() 和 Max() 的优化方法 (1)优化前,是没有为last_update_time字段建立索引的情况,查询最大的时间戳 (2)优化后,是为last_update_time字段建立索引的情况
1、显示慢日志是否开启 show variables like ‘%slow_query_log%’ 2、查询超过多少秒才记录 show variables like ‘%long_query_time %’ 3、配置分全局配置和配置文件的配置 全局配置 1) 将 slow_query_log 全局变量设置为“ON”状态 set global slow_query_log=‘ON’; 2) 查询超过 1秒就记录 set global long_query_time=1 3) 设置慢查询日志存放的位置 set global slow_query_log_file=’/usr/local/mysql slow.log long_query_time = 1 重启MySQL服务 service mysqld restart 4、mysqldumpslow简单使用方法-mysqldumpslow详细用法 慢查询日志分析工具 mysqldumpslow经常使用的参数: -s,是order的顺序 —– al 平均锁定时间 —–ar 平均返回记录时间 —–at 平均查询时间(默认) —–c 计数 —–l 锁定时间
通过命令查看慢查询最长时间,一般默认10s SHOW VARIABLES LIKE 'long_query_time 我们可以修改该时间,比如我在这里设置为1s,方便测试。 查看一下 这里就找到了慢查询日志了。。。 global] 默认是session 会话,指取出当前窗口的执行,如果你想看所有(从mysql 启动到现在,则应该 global) show status like ‘connections’; //显示慢查询次数
#使用set global slow_query_log=1开启了慢查询日志只对当前数据库生效,MySQL重启后则会失效。 log-slow-queries :旧版(5.6以下版本)MySQL数据库慢查询日志存储路径。 可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log slow-query-log-file:新版(5.6及以上版本)MySQL数据库慢查询日志存储路径。 可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log long_query_time :慢查询阈值,当查询时间多于设定的阈值时,记录日志。 log_queries_not_using_indexes:未使用索引的查询也被记录到慢查询日志中(可选项)。 log_output:日志存储方式。
MySQL 中存在慢查询,Redis 中也存在慢查询,Redis 的慢查询是命令执行超过设定阈值的查询就是慢查询。我们来整理一下。 慢查询 Redis 会记录命令执行时间超过设定阈值时间的命令,这里的慢查询说的是命令执行慢,并非是 I/O 慢。 ? slowlog-log-slower-than: 慢查询阈值,命令执行时超过该配置参数设定的值,则被认为是慢查询; slowlog-max-len: 慢查询日志最大记录数,也就是 Redis 最多记录多少条慢查询的记录 " 2) "v1" 3) "k22" 4) "v2" 查看 Redis 记录的慢查询数量 通过 slowlog len 命令来查看记录了多少条慢查询命令。 记录的慢查询标号,倒序显示 2. 记录该命令的时间戳 3. 执行命令的耗时,微秒为单位 4. 执行的具体命令 5.
慢查询避免 在实际项目中,数据库查询经常出现响应过慢或超时情况。那么怎么减少慢查询的出现呢? 表设计合理,尽量避免出现多表联合查询。 慢查询处理 合理设计表,可以减少慢查询的出现,但是并不能完全避免。本文将慢查询可分为一般慢查询、深度分页慢查询和数据量大导致的慢查询。 一般慢查询 当出现一般慢查询时,可以按照以下步骤去进行 SQL 调优: 避免全表扫描。这⾥需要注意⼀些索引设计和使⽤的问题: 使⽤复合索引,避免出现多个单列索引。 使⽤⼦查询优化:通过⼦查询先定位到接近⽬标结果的位置,然后外层查询获取具体数据。 大数据慢查询 在MySQL 中,单表数据量一般都限制在 2000w 以内,当超过后会出现严重性能问题。所以针对大表,可以进行⽔平分表。⽔平分表是⼀种将数据表按⼀定规则拆分为多个⼦表的技术。
摘要 排序引起的慢查询,通常不是那么容易发现,经常和数据分布有关系。 往往在业务刚开始时并没有什么问题,但是随着业务的发展,数据分布呈现一种特定的规律,导致了慢查询,或者并不是什么慢查询,但是随着并发请求数增加,数据库的IOPS使用率变高,进一步导致cpu/内存使用率飙高 问题 因为排序引起的问题遇到很多次 例1:某日收到线上cpu告警 然后查看慢sql日志 大量的慢查询指向了这个查询 SELECT id, prize_id, ORDER BY id DESC LIMIT 0, 10 play是抽奖记录表,sql是查抽中奖品的前10个大奖中奖者,来吸引其他用户参与抽奖,biz_id建了索引 例2 某日上线一个新功能,在第五次压测时,数据库cpu告警 查看数据库慢日志,没有一条慢sql(耗时>100ms)。
一、开启慢查询日志 1、查看是否开启:show variables like ‘slow_query_log’; 2、查看是否开启记录未使用索引的查询:show variables like ‘ :show variables like ‘long_query_time’; 5、开启慢查询日志:set global slow_query_log=on; 6、查看慢查询日志记录位置:show variables like ‘slow_query_log_file’; 7、查看慢查询日志:tail -f /var/lib/mysql/e3edd0de9e5d-slow.log; 二、分析慢查询日志 1、mysqldumpslow: mysqldumpslow -t 3 /var/lib/mysql/e3edd0de9e5d-slow.log; 2、pt-query-digest: 1)、安装 wget percona.com/get/pt-query-digest;chmod u+x pt-query-digest;mv /root/pt-query-digest /usr/bin/; 2)
值的SQL,会被记录到慢查询日志中。 慢查询日志一般用于性能分析时开启,收集慢SQL然后通过explain进行全面分析,一般来说,生产是不会开启的,收集慢查询语句是十分耗性能的,但是我们在测试环境是可以模拟分析的,优化SQL语句,接下来就通过实战 ,讲解如何开启慢日志查询以及如何分析。 二、慢查询日志开启 1)查看是否开启,默认是关闭的show VARIABLES like '%slow_query_log%'可以看到默认慢日志的保存文件以及状态 图片2)开启:#只会开启当前MySQL 1)docker进入MySQL容器docker exec -it e1066fe2db35(mysql容器) /bin/bash2)此时进入mysql环境,当未登录进入,可以查看slow_query_log_file
慢查询日志概念 MySQL 的慢查询日志是 MySQL 提供的一种日志记录,它用来记录在 MySQL 中查询响应时间超过阈值的语句,具体指响应时间超过 long_query_time 值的 SQL,会被记录到慢查询日志 默 认情况下,MySQL 是不开启慢查询日志的,需要我们手动设置这个参数值,当然,如果不是调优需要的话,一般不建议开启慢查询日志, 因为开启慢查询日志或多或少会带来一定性能的影响。 慢查询日志参数 slow_query_log:表示是否开启慢查询日志,OFF表示禁用,ON表示开启 slow_query_log_file:MySQL 慢查询日志存储路径。 ,如下所示: 开启慢查询日志: 使用 set global slow_query_log=1 开启慢查询日志只对当前数据库生效,如果 MySQL 重启后则会失效。 ,如果要开启从库的慢查询需要设定 log_slow_slave_statements 如果要查询有多少条慢查询记录,可以使用系统变量,如下: 版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人
1、查看mysql的慢查询日志是否开启 show variables like ‘%query%’; 可以看到slow_query_log的值是OFF,也就是mysql默认是不启用慢查询日志的。 这里还有个long_query_time,默认是10秒,也就是超过了10秒即为慢查询。 log_queries_not_using_indexes,如果设置为ON,则会将所有没有使用索引的查询都记录为慢查询。 2、如何启用慢查询日志呢? select sleep(11); 查看TABLE记录的慢日志: select * from mysql.slow_log; 这里面记录了查询时间、发起查询的客户端、扫描行数、执行的sql语句等信息 查看FILE记录的慢日志: 先找到日志文件 打开文件,查看记录的内容: 版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。
Mysql慢查询设置 分析MySQL语句查询性能的方法除了使用 EXPLAIN 输出执行计划,还可以让MySQL记录下查询超过指定时间的语句,我们将超过指定时间的SQL语句查询称为“慢查询”。 mysql慢查询日志对于跟踪有问题的查询非常有用,可以分析出当前程序里有很耗费资源的sql语句,那如何打开mysql的慢查询日志记录呢? =/var/lib/mysql/slowquery.log long_query_time=2 注: log-slow-queries 设置把日志写在那里,为空的时候,系统会给慢查询日志赋予主机名,并被附加 2表示查询超过两秒才记录. Windows: 当你是第一次开启mysql的慢查询,会在你指定的目录下创建这个记录文件,本文就是mysqlslowquery.log,这个文件的内容大致如下(第一次开启MYSQL慢查询的情况下) E:
线上的MySQL网页加载速度慢,可能是有慢查询,需要分析一下 编辑Mysql 配置文件(my.cnf),在[mysqld]字段添加以下几行,记录超过1秒请求的SQL语句: vi /etc/my.cnf usr/local/mysql/bin/mysqldumpslow /usr/local/mysql/var/slow_queries.log 备注: 按照标准来讲,一个sql,运行超过0.3秒,就算慢查询了
在 MySQL中,慢查询日志是经常作为我们优化数据库的依据,那在MongoDB中是否有类似的功能呢? > db.setProfilingLevel(2); {"was" : 0 , "ok" : 1} > db.getProfilingLevel() 上面斜体的级别可以取0,1,2 三个值 ,他们表示的意义如下: 0 – 不开启 1 – 记录慢命令 (默认为>100ms) 2 – 记录所有命令 Profile记录在级别1时会记录慢命令,那么这个慢的定义是什么? Profiling 记录 与MySQL的慢查询日志不同,Mongo Profile 记录是直接存在系统db里的,记录位置 system.profile,所以,我们只要查询这个Collection的记录就可以获取到我们的 "info" : "query test.foo ntoreturn:0 reslen:36 nscanned:2 query: { $not: { x: 2 } } nreturned:0 bytes
MySQL给我们提供了一个很好的功能,那就是慢查询!所谓的慢查询就是通过设置来记录超过一定时间的SQL语句! 那么如何应用慢查询呢? 一、开启MySQL的慢查询日志功能 默认情况下,MySQL是不会记录超过一定执行时间的SQL语句的。 表示设置慢查询的时间为1S,默认为10S,有查询超过了这个时间,将会被记录到慢查询日志中,高版本的可以设置小数。 1、在MYSQL控制台输入命令:select sleep(2) mysql> select sleep(2); +----------+ | sleep(2) | +----------+ | 0| +----------+ 1 row in set (2.00 sec) 2、再查看慢查询的日志文件,会看到以下信息。