Explain Analyze 是 MySQL 8 中提供的新工具,牛X之处在于可以给出实际执行情况。 这就是在真正执行之前,查询优化器所做的估算。 (actual time=0.454..194.045 rows=2844 loops=2) 这部分就是实际执行的结果数据了。 实际环境 如果你想实际试试,可以使用 MySQL 提供的测试数据库 sakila。 下载地址: https://dev.mysql.com/doc/index-other.html ! : mysql> SOURCE /xxx/sakila-schema.sql; mysql> SOURCE /xxx/sakila-data.sql; 4. /2019/10/28/using-explain-analyze-in-mysql-8/
一.说明 以下配置适合4核8G及以下的配置,会让性能稍微提高1/3左右。 seconds to run all queries: 0.551 seconds Maximum number of seconds to run all queries: 1.141 seconds 优化后的 =utf8mb4 default-storage-engine=innoDB basedir=/usr/local/mysql datadir=/usr/local/mysql/data socket= /usr/local/mysql/mysql.sock log-error=/var/log/mysql/mysql.log pid-file=/usr/local/mysql/mysql.pid #扩展设置 tmp_table_size = 64M read_buffer_size = 2M read_rnd_buffer_size = 8M sort_buffer_size = 8M join_buffer_size
--------------------------------------------------------+ 18 rows inset, 4 warnings (0.003 sec) 从语句优化的角度和方法 ,我这一眼就看到了一个关键的优化部分,合并同类项。 这个SQL就是典型的这类优化的方法,我们可以下图发现端倪。对于一个语句的数据过滤,写了两遍。 同时我们把LEFT JOIN 中的表的查询条件融合在 JOIN语句本身,这样有助于类似MYSQL这样的数据库产品快速的编译SQL语句,避免改写后的错误。 优化点 SELECT DISTINCT o.id, o.title, o.pri, o.is_customer_server, o.is_closed,
为什么优化 为了获得成就感? 为了证实比系统设计者更懂数据库? 为了从优化成果来证实优化者更有价值? no 但通常事实证实的结果往往会和您期待相反! 优化有风险,涉足需谨慎! 优化风险 1 . 优化不可避免涉及到变更,变更就有风险! 7 . 优化使性能变好,维持和变差是等概率事件! 8 . 优化不能只是数据库管理员担当风险,但会所有的人分享优化成果! 9 . 谁参与优化 数据库管理员业务部门代表 应用程序架构师 应用程序设计人员 应用程序开发人员 硬件及系统管理员 存储管理员 image.png 优化方向 安全优化(业务持续性) 性能优化(业务高效性) 优化范围及思路 优化范围::/O规划及配置Swap:(Index,lock,session):(内存、数据库设计、参数)(物理&逻辑) 优化效果和成本的评估 image.png 优化工具使用 系统层面 这个阶段,需要我们DBA深入业务,或者要和开发人员\业务人员配合实现 优化,最根本的是"优化"人; Mysql参数优化测试(8c32g) 服务器配置 image.png image.png time
索引:(Index) 是帮助mysql高效获取数据的 数据结构 1. 索引目的在于提高查询效率,可以类比字典 2. 可以简单理解为"排好序的快速查询数据结构" 3. 服务器配置文件优化 1. MySQL允许最大的进程连接数, 2. 每个主机的连接请求异常中断的最大次数, 3. 设置表高速缓存的数目, 4. 查询优化: 1. 3. order by group by 优化 慢查询日志:
15 MySQL优化 数据库性能优化看起来只牵扯到数据库,但其实范围涉及极广,从计算机和网络硬件到操作系统,网络设计到安全,从各种软件再到数据库本身,性能优化从来都不是单一的,而是一个整体。 在进行MySQL的优化之前,必须要了解的就是MySQL的查询过程,很多查询优化工作实际上就是遵循一些原则,让MySQL的优化器能够按照预想的合理方式运行而已。 read_rnd_buffer_size:# 随机读取缓存 key_buffer_size:# 索引缓存 thread_cache_size:# (1G—>8, 2G—>16, 3G—>32, >3G 32G内存以上100M SQL优化 1. 选取最适用的字段属性 MySQL可以很好的支持大数据量的存取,但是一般说来,数据库中的表越小,在它上面执行的查询也就会越快。 8. 优化的查询语句 绝大多数情况下,使用索引可以提高查询的速度,但如果SQL语句使用不恰当的话,索引将无法发挥它应有的作用。 下面是应该注意的几个方面。
InnoDB MyISAM 事务处理 支持 不支持 全文搜索 不支持 支持 SELECT ,UPDATE,INSERT,DELETE 大量INSERT或UPDATE | DELETE 表一行一行的删除 大量SELECTDELETE | DELETE表先DROP再重建 AUTO_INCREMENT 自增计数器仅存储在主内存中 锁 表锁,行级锁 表锁 外键 支持 不支持 行数 扫描表来计算 保存行数 存储 把数据和索引存放在表空间里面 表被存放在三个文件 跨平台 跨平台可直接拷贝使用 跨平台很难直接拷贝 压
认为必须检查的用来返回请求数据的行数; extra:using filesort、using temporary(常出现在使用order by时)时需要优化。 看到这个的时候,查询就需要优化了 -Using temporary 使用了临时表。看到这个的时候,也需要优化 (3)PROFILING分析SQL语句 1.开启profile。 包括执行状态、是否锁表等 mysql> SHOW processlist; (4)PROCEDURE ANALYSE()取得建议 通过分析select查询结果对现有的表的每一列给出优化的建议 mysql 只需在批量删除数据行之后,或定期(每周一次或每月一次)进行一次数据表优化操作即可,只对那些特定的表运行。 ; 五、定位慢查询 MySQL慢查询 六、分区 MySQL分区和分表 七、配置优化 MySQL配置优化
上篇文章是关于mysql优化的,那个内容是我大学的时候学习的笔记,最近学习发现一些比较好的内容,在这里分享给大家。 版权源于网上。 工作中使用最多的就是MySQL, 但是mysql的优化也就是通过建索引以及缓存数据来优化的。使用explain比较多。对于其他的优化技能没有使用过。 ? 1、硬件层相关优化 请一个DBA团队优化,还没有全部把机械硬盘换成ssd来的快。所以,底层硬件也是很重要的。 层相关优化 3.1、关于版本选择 官方版本我们称为ORACLE MySQL,这个没什么好说的,相信绝大多数人会选择它。 的管理维护的其他建议有: 1、通常地,单表物理大小不超过10GB,单表行数不超过1亿条,行平均长度不超过8KB,如果机器性能足够,这些数据量MySQL是完全能处理的过来的,不用担心性能问题,这么建议主要是考虑
SQL优化发生在业务量达到一定规模的时候 目的是优化SQL的执行效率 MySQL 优化 优化范围 硬件资源 操作系统参数,数据库参数配置 SQL语句,索引优化 SQL优化 数据库设计优化【规范,前期设计 任何地方都不要使用 select * from t ,用具体的字段列表代替“*”,不要返回用不到的任何字段 尽量避免使用游标,因为游标的效率较差,如果游标操作的数据超过1万行,那么就应该考虑改写 后记——了解MySQL 索引目的 提高查询效率 【类比字典和借书】 如果要查“mysql”这个单词,我们肯定需要定位到m字母,然后从下往下找到y字母,再找到剩下的sql。 ----------------2019/10/9 参考《MySQL DBA工作笔记》中杨建荣老师举得一个非常形象的例子: “比如某公司里面有一个开发小组,组长管理一些程序员,自己也参与开发工作”——B MySQL默认使用B+Tree索引 索引本身也很大,所以存储在磁盘中,需要加载到内存中执行。 故:索引结构优劣标准:磁盘I/O次数 BTree是为了充分利用磁盘预读功能而创建出来的一种数据结构。
MYSQL 优化 数据库性能依赖于数据库层面的一些诸如表、查询及配置等因素。而软件功能的构成最终反映到硬件上面,即CPU使用及I/O操作。减少CPU消耗,增加I/O效率则是提高软件性能的根本驱动。 深度应用者则着眼于从改进Mysql软件自身层面,或者开发另外的数据库引擎和硬件应用来拓展Mysql的生态系统。 数据库层面优化 影响数据库应用性能的最重要因素其设计的合理性: 表的结构是否合适? 如果基础的优化指引无法解决性能问题,则可以通过执行计划调整索引,查询条件,联合条件等(执行计划优先)。 调整MySQL缓存使用的内存大小及属性。 IS NULL 优化 MySQL对col_name IS NULL 的优化和对col_name = constant_value的优化方式一样。 MySQL也可以优化类似col_name = expr OR col_name IS NULL这样的组合。这种形式通常见于子查询。
mysql多表连接查询的模式 左表和右表的共有部分,即内连接 SELECT fileds FROM TableA AS A INNER JOIN TableB AS B ON A.key1 = fields FROM TableA AS A RIGHT JOIN TableB AS B ON A.key1 = B.key2 WHERE A.key1 IS NULL; 左表的全部+右表的全部 mysql 索引的概念 官方定义:索引是帮助mysql高效获取数据的数据结构。划重点:数据结构。 查看索引 SHOW INDEX FROM tableName\G 其中,tableName是表名,\G是为了显示格式优化。 7. 8.
为什么优化 为了获得成就感? 为了证实比系统设计者更懂数据库? 为了从优化成果来证实优化者更有价值? no 但通常事实证实的结果往往会和您期待相反! 优化有风险,涉足需谨慎! 优化风险 1 . 优化不可避免涉及到变更,变更就有风险! 7 . 优化使性能变好,维持和变差是等概率事件! 8 . 优化不能只是数据库管理员担当风险,但会所有的人分享优化成果! 9 . 谁参与优化 数据库管理员业务部门代表 应用程序架构师 应用程序设计人员 应用程序开发人员 硬件及系统管理员 存储管理员 1111 优化方向 安全优化(业务持续性) 性能优化(业务高效性) 优化范围及思路 **优化范围::/O规划及配置Swap:(Index,lock,session):(内存、数据库设计、参数)(物理&逻辑 优化效果和成本的评估 优化工具使用 系统层面 top 程序是如何使用 避免业务逻辑错误,避免锁争用.这个阶段,需要我们DBA深入业务,或者要和开发人员\业务人员配合实现优化,最根本的是"优化"人; Mysql参数优化测试(8c32g) 服务器配置 time用于计时 dd
MySQL优化 MySQL 优化方案 对于 **MySQL** 的性能优化,大部分情况下都是想减少查询所消耗的时间;而一个查询是由很多个环节组成,那么就需要从每个环节消耗时间进行入手。 配置优化(连接) 当客户端连接到服务端有可能服务端连接数不够导致应用程序获取不到连接而报出 **Mysql: error 1040: Too many connections**** **的错误。 **Druid** 的连接池默认大小是 **8**,**Hikari** 的连接池默认大小是 **10**。 中提供了一个执行计划工具,通过该工具可以模拟优化执行 **SQL** 查询语句的过程得到 **MySQL** 是怎么对一条 **SQL** 语句的过程并且可以对其进行分析。 通过模拟优化器执行 **SQL** 查询语句的过程得到 **MySQL** 是怎么处理一条 **SQL** 语句的并可以对其进行语句或表的性能瓶颈。
默认设置为0,也即允许; 长时间未访问 断开 mysql有一个连接超时时间的概念。。。查询此项目的数据库的连接超时时间为28800秒,即为8小时。。 而我们的项目使用的是c3p0的连接池,,过了8小时后,连接池中的连接已经被mysql断开了,即连接失效。。 此优化主要针对innodb引擎 创建慢查询日志文件 cd /var/log/ mkdir mysql cd mysql vi mysql-slow.log 打开配置文件 vi /etc/my.cnf where b like ‘haha%’ order by time limit 100; 第二种优化方法(注意:这种方法只适用于mysql引擎是myisam的): 语句不变,将haha字段加为全文索引 索引 参见:Mysql优化-索引 Show Profile【重点】 是什么 mysql提供可以用来分析当前会话中语句执行的资源消耗情况。
本文主要参考官网的优化 https://dev.mysql.com/doc/refman/5.7/en/optimization.html优化SQL语句没得完美的优化方案, 要么牺牲写性能(多数情况是这样 嵌套循环连接算法Nested-Loop Join Algorithms嵌套连接优化mysql的cross join 等价于 inner join (标准sql不是这样的)###(左右)外连接避免全表扫描优化 9.5MB空间 (好像也不是很多)主键索引尽可能短, 尤其是很多二级索引的时候如果涉及到迁移的话, 表名不要超过18个字符.能用数字表示的字段就别用字符类型能用布尔的就用布尔, 反正就是减少空间对于小于8KB 优化器成本模型 相当于oracle的 CBO主要跟两个表有关: mysql.server_cost 和 mysql.engine_cost如果值非空(默认NULL)的话, 计算的时候就会考虑这个值, ##外部锁外部锁定是使用文件系统锁定来管理MyISAM多个进程对数据库表的争用 innodb不涉及mysql服务器的优化系统优化:尽量不要使用swap, 性能确实比不上内存, (内存不够的除外)避免
1、Tomcat8优化 tomcat服务器在JavaEE项目中使用率非常高,所以在生产环境对tomcat的优化也变得非常重要了。 1.1 Tomcat配置优化 1.1.1、部署安装tomcat8 下载并安装: https://tomcat.apache.org/download-80.cgi ? 推荐使用nio,不过,在tomcat8中有最新的nio2,速度更快,建议使用nio2. cat dashboard.sql | mysql ‐uroot ‐proot 创建完成后,可以看到有3张表。 ? 1.5、调整JVM参数进行优化 接下来,测试通过jvm参数进行优化,为了测试一致性,依然将最大线程数设置为500, 启用nio2运行模式。
:索引没有设计好、SQL 语句没写好、MySQL 选错了索引 ’mysql慢查询优化 第一步:开启mysql慢查询日志,通过慢查询日志定位到执行较慢的SQL语句。 查询 SQL 语句的执行计划: EXPLAIN SELECT * FROM table_1 WHERE id = 1; [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oj8fOeWd ,可以随着底层优化器输入的更改而更改 EXPLAIN 不会告诉显示关于触发器、存储过程的信息对查询的影响情况 EXPLAIN 不考虑各种 Cache EXPLAIN 不能显示 MySQL 在执行查询时的动态 `user_id` = '2') a WHERE r.id = a.role_id ; [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PG8Bw4qL-1637292608959 在优化过程中分解语句,执行时甚至不用访问表或索引 从上到下,性能从差到好,一般来说需要保证查询至少达到 range 级别, 最好达到 ref ---- key possible_keys: 指出 MySQL
本号内有多个专题,如【数据结构】、【netty专题】、【dubbo专题】、【mysql优化专题】、【redis专题】、【高并发专题】等优质好文。一起学习,共同进步。
这里讲的主要是MySQL 5.6的版本。 wrapper 一、MySQL缓存分类 MySQL的优化指的是一个很大的系统,面试的时候我之前是从sql的语句优化方面去说的,这种优化也有作用,不过是从逻辑方面去优化。 但是当所有的逻辑层面已经无可优化,所有的索引都已经加好,表结构也设计的合理,但是遇到高并发的时候,为什么MySQL还是扛不住呢。当然可以通过其他的方面去缓解MySQL的压力,这里我们暂且不谈。 那么服务器的硬盘、CPU,内存,网络都有影响到MySQL的性能。MySQl是非常耗费内存的,线上服务器的MySQL内存要吃到80%左右,内存过小,其他的优化空间其实很小。 另外连接(connection)也是影响MySQL性能的重要一方面。MySQL客户机与MySQL服务器之间的连接是MySQL客户机与MySQL服务器反复握手的结果。