首页
学习
活动
专区
圈层
工具
发布

MySQL 慢查询到底怎么排查?从 explain 到索引优化的完整流程

前言写 MySQL 的这些年,我越来越觉得:慢查询不是某一个人写坏了 SQL,而是大家都以为没问题。...平时大家总说“看下慢 SQL 啊”。但到底怎么查?怎么分析?应该怎么改?很多新人可能只知道 explain,有时候看着 explain 的结果都不知道哪里不对。...不开就等着线上揣摩人生很多团队线上环境居然没开慢查询日志,这真的会害死排查。...排查慢 SQL,我一般这样走:先日志再 explain 最后才去改我遇到过很多不会排查的人,一上来就把 SQL 拿去 explain,但根本不知道这个 SQL 在线上执行的是怎样的参数组合、发生了几次、...我之前因为这个顺序写反了,线上扫描行数从几百跳到五万,整整排查了一个下午。怎么选字段做索引?

2.1K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    数据库连接池配置-系统数据库慢排查

    数据库连接池配置-系统数据库慢排查 报错信息: Health check failedorg.springframework.jdbc.CannotGetJdbcConnectionException:...连接返回到池中是时是否校验,依赖validationQuery,对性能有一定影响,不推荐使用 false removeAbandoned 是否清除已经超过 removeAbandonedTimeout 设置的连接,可用于排查一些事务未提交的问题...4.慢sql Mysql慢SQL堆积导致数据库连接池占满 慢SQL为什么会导致系统崩溃 连接占满(我是这种情况) 用show full PROCESSLIST 发现连接数已经占满了,而且连接占用的时间都比较长...其中有一条语句重复堆积了80来个慢SQL,查询时间为50秒~600秒不等,且有一半在500-600秒的。 用kill 进程ID 把运行较慢的SQL杀掉,再重启数据库和应用服务,连接就正常了。...解决方式 使用show full processlist查看数据库连接占用情况 对连接时长较长的连接进行分析,KILL掉该连接 查看服务器监控和MYSQL监控,分析服务器CPU、内存、磁盘IO,分析MYSQL

    1.6K10

    mysql数据库开启慢查询日志

    修改配置文件 在配置文件my.ini中加上下面两句话 1 log-slow-queries = C:\xampp\mysql_slow_query.log 2 long_query_time=3 第一句使用来定义慢查询日志的路径...(若是linux系统,会涉及权限问题) 第二句使用来定义用时超过过多少秒的查询是慢查询,单位:秒。...查看配置验证是否配置成功: //查看慢查询时间,单位:s show variables like "long_query_time"; //查看慢查询配置情况 show status like "%slow_queries...%"; //查看慢查询日志路径 show variables like "%slow%"; 执行慢查询操作,验证是否记录日志: 自己搭建的环境数据量小,模拟执行慢查询比较困难,可以下面语句模拟代替:...SELECT SLEEP(10),name from user where userid=1; 查看慢查询的数量: show global status like '%slow%';

    3K20

    MongoDB 响应慢如何排查?

    在工作中,我们可能会遇到 MongoDB 响应慢的情况,这一节内容,来聊聊当出现这种情况时,应该怎样去排查?...导入数据并制造慢查询(这里是为了我们这次实验能看到慢查询,如果是线上环境排查问题,这一步忽略): for (var i=1; i<=300000; i++ ) db.userinfo.save({userid...planSummary 表示执行计划; COLLSCAN 表示全表扫描; COLLSCAN 中的 keysExamined 表示是否走索引; COLLSCAN 中的 docsExamined 表示扫描文档数(类似MySQL...2 mongostat 排查 另外可以考虑使用 mongostat 进行排查,它的输出结果如下: mongostat --host 192.168.150.232:27001 其中: insert、...mongotop --host 192.168.150.232:27001 其中: ns 表示数据库命名空间; total、read、write 具体操作花费的时间。

    4.1K30

    MySQL数据库出现慢查询的危害

    1、MySQL数据库当出现慢查询,是比较危险的,一旦有其他的DDL操作,可能会造成整个数据库的等待 可以分以下几种情况: 当表是MyiSAM表,对表有慢查询,不阻塞Select,对该表的其他DML,DDL...操作都会被阻塞,比如出现Wating for table level lock,数据库中一定不能还存在MyiSAM表 当表是Innodb表,当表上有慢查询,不阻塞Select 和DML,其他的DDL操作都会被阻塞...,比如出现waiting for table metadata lock 综上,当数据库中存在慢查询时,是比较危险的,当执行备份,create index ,alter  table , flush table...等操作时就会造成数据库的等待 解决办法: 1、对数据库中执行时间较长的Select进行监控,并及时报警 2、如果允许的话,写脚本,发现较长的select语句,直接kill,并记录日志中 -B, --batch...$1}'` do         mysql -Bse "kill  $i" done show processlist的command的状态有很多,其中Query代表正在执行的命令 Query  :

    2.5K10

    线上慢SQL的排查思路

    完善监控告警:配置慢查询告警(超过 1s 自动报警),监控数据库 CPU、IO、连接数等指标 定期巡检:每月做一次数据库性能巡检,清理无用索引,优化表结构 整体排查流程图面试加分项提到实际踩过的坑:比如...会把索引列转换成参数的类型,相当于对索引列做了函数操作,所以无法使用索引真实现场模拟面试真实现场模拟面试面试官 ‍:“假设生产环境数据库突然告警,出现大量慢SQL,老板让你去排查。...面试官 ‍:“好,那第一步快速定位到具体是哪些SQL在慢,你会怎么做?”...面试官 ‍:“嗯,拿到一条具体SQL了,接下来怎么分析它为什么慢?”我 :“核心就是看执行计划。MySQL的话我优先用 EXPLAIN ANALYZE(8.0),因为它显示实际耗时和预估行数的误差。...那站在技术面试角度,你觉得在这个线上慢SQL排查场景里,最大的技术难点有哪些?你是怎么解决它们的?”

    42810

    快速学会慢查询SQL排查

    在往期文章中,我们聊过数据库基础知识,可参考「数据库基础,看完这篇就够了!」。 学完数据库基础知识,要想更深入地了解数据库,就需要学习数据库进阶知识,今天我们就先来聊一聊慢SQL查询那些事儿。...在日常工作中,我们经常会遇到数据库慢查询问题,那么我们要如何进行排查呢? 假设一次执行20条SQL,我们如何判断哪条SQL是执行慢的烂SQL,这里就需要用到慢查询日志。...: Linux重启MySQL服务: service mysql restart Windows重启MySQL服务: 右击开始菜单——计算机管理——找到MySQL服务——重启: 重启后的可以看到慢查询日志变成...="D:/MySQL Server 5.5/slow_query_log.log" 永久开启后,即使重启MySQL服务,慢查询日志也不会关闭: 慢查询阈值修改 查看默认值 show variables...=3 慢SQL排查测试 模拟慢SQL数据 执行如下SQL语句休眠4秒,模拟慢SQL: select sleep(4); 查询超过阈值的SQL的数量: show global status like

    1.9K30

    数据库优化——慢查询MySQL定位优化流程

    先给出步骤,后面说明 有3个步骤 1.开启慢查询日志   首先开启慢查询日志,由参数slow_query_log决定是否开启,在MySQL命令行下输入下面的命令: set global slow_query_log...这个阈值默认是10s,线上业务一般建议把long_query_time设置为1s,如果某个业务的MySQL要求比较高的QPS,可设置慢查询为0.1s。发现慢查询及时优化或者提醒开发改写。...在配置文件修改才能永久改变,否则重启数据库就还原了 3.慢查询例子演示,新手都能看懂 数据表结构,偷懒没写comment CREATE TABLE `person_info_large` (...注意:有的慢查询正在执行,结果已经导致数据库负载过高,而由于慢查询还没执行完,因此慢查询日志看不到任何语句,此时可以使用show processlist命令查看正在执行的慢查询。...4.查询语句慢怎么办?explain带你分析sql执行计划 根据上一节的表结构可以知道,account是添加了唯一索引的字段。explain分析一下执行计划。

    1.3K10

    MySQL 8.0 慢查询日志彻底搞懂,怎么设置,怎么查

    为什么你必须掌握慢查询日志? 你有没有遇到过这种情况:系统跑着跑着就卡了,明明 CPU 和内存都没爆,MySQL 却迟迟不给结果。领导追问“哪个 SQL 慢?为啥慢?”,你一脸懵,连查都不会查。...**适用场景:**SQL 优化、性能瓶颈排查。 在你的一主两从架构中: master:业务写入为主,我们只在 master 上开启慢查询日志。...怎么读?...WHERE name LIKE'%测试%'; 解读: Query_time: SQL 执行耗时 Lock_time: 等待锁耗时 Rows_examined: 扫描了多少行(越多越慢) 五、日志太多了怎么办...筛选只看慢的 grep-A10 Query_time mysql-slow.log | grep-B5 SELECT 或者使用分析工具(后续我们写):pt-query-digest。

    1.2K10

    MySQL数据库4Python操作mysql、索引、慢查询日志

    一、Python 操作 mysql pymysql是通过python操作mysql的模块,需要先安装,方法:pip install pymysql 1.1python 操作 mysql 操作步骤: 1....配置连接数据库的参数 host配置的是IP地址,若果是本机则用localhost,user配置用户权限,之后配置账户和密码,这里的账户密码指登录数据库的账户和密码,database配置需要操作的数据库...,之后是配置要链接的数据库的编码。...2.7慢查询日志 2.7.1查看慢SQL的相关变量 mysql> show variables like '%slow%'; +---------------------------+---------...set global slow_query_log_file="D:/mysql-5.6.46/data/myslow.log";配置慢日志存储路径(路径不能有空格,否则会配置不成功)

    2.8K20

    云数据库MySQL CPU飙升排查流程

    在日常使用MySQL的过程中,会遇到 CPU 使用率过高甚至达到 100% 的情况。CPU飙升会导致数据库无法连接,事务无法提交等一系列问题。...排查流程及解决方案 业务突增 客户业务突增导致CPU负载飙升,定位方法可以查看监控指标:每秒执行操作数、每秒执行事务数。如果这两个指标的变化与CPU的变化趋势能对应上,说明客户业务有突增。...慢查询 查看监控运行线程,运行线程数如果运行线程数的变化趋势与CPU的变化趋势能够对应上,可以说明数据库吞吐已经出现问题,可能存在有慢查询(运行线程数一般大于20就有问题),可以通过监控中可以看到慢查询的数量...总结 MySQL处在高负载环境下,磁盘IO读写过多,肯定会占用很多资源,必然会使CPU占用过高。...by 语句、优化 join 语句等等; 2.考虑索引问题; 3.定期分析表,使用optimize table; 4.优化数据库对象; 5.考虑是否是锁问题; 6.调整一些MySQL Server参数,

    11.4K2040

    应用执行慢的问题排查路径

    ,或者定位到某条SQL语句执行慢,但根源未必就是数据库,或者不完全就是数据库,例如一次简单的数据检索,可能就会涉及到多个应用、不同的操作系统、网络环境、数据库等资源,可以说环环相扣,毕竟不是“一体机”,...这次碰到的问题,同样值得借鉴,当时整了张图,蜻蜓点水般地梳理下应用层、数据库和网络层的排查路径, ? 除了技术因素,还有一些非技术因素,可能左右问题的排查,例如: 1....有应用反馈发现大量DB慢查,并且日志上还记录了详细的执行时间和SQL语句。接到问题后我们第一时间排查DB发现并没有异常,也没有慢查记录,并且日志中的大部分SQL都能匹配索引,测试执行都在毫秒级。...一种情况是建立连接慢,一种是连接池已经耗尽,再对照上面的案例进行排查,依次排除了这两种情况。...至此真相水落石出,最终修复了写日志慢的问题后就不再出现类似的“慢查”了。

    1K51

    MySQL数据库关于PID问题的排查

    故障排查:当MySQL服务异常终止时,PID文件可以帮助定位问题原因。...三、pid文件不存报什么错 在MySQL数据库中,如果PID(进程ID)不存在,通常会报以下错误: ERROR 2002 (HY000): Can't connect to local MySQL server...四、尝试的解决方案 特别说明:任何针对数据库的操作,强烈建议在操作前做好备份,如服务器硬盘快照,数据库备份等操作,以免造成数据损失。...如果PID文件丢失或损坏,MySQL服务器可能无法正常启动。通常情况下,重启数据库会自动创建pid文件,这也是推荐的处理方法,如果重启数据库后仍然如何创建pid,那此时可采用手动创建的方法。...tail -n 50 /var/log/mysqld.log 总结 特别说明:任何针对数据库的操作,强烈建议在操作前做好备份,如服务器硬盘快照,数据库备份等操作,以免造成数据损失。

    1.3K21

    API慢请求问题排查记录「1」

    (4s左右)通过Apifox进行接口压力测试也能轻易复现问题,且在一轮3600次的请求中,慢请求基本只出现在前几次请求中图片排查思路整体思路为先由API服务从请求尾端向前查,同步可从客户端往后查监控首先看一看经过初步的接口压力测试...,可以看到慢请求耗时在gin....,基本上可以确认服务端没有问题了(除非继续深入到golang原生http库,但本身出问题的概率就不大);所以接下来我们反向从客户端开始排查问题,首先确认是否为客户端请求没有使用持久连接导致的偶现慢请求,...但都有超长请求,不能说明是客户端没有重用连接导致的LB排查在确保客户端请求正确性的前提下依旧能复现慢请求,接下来就要往LB去排查了,通过服务端日志输出的ip地址来确认负载均衡指向的机器,很快我们发现慢请求都出现在同一台用于负载均衡的服务器上...,去除该问题节点后请求恢复了正常(后续找相关同学确认是LB机器重试未响应的超时时间),耗时稳定在50ms左右总结整体的排查思路没有错,面对网络请求问题从服务端、客户端两头来排查;但在一面难以继续深入排查时需要尽快调转车头转向反向链路进行排查

    1.9K40
    领券