今天,我不谈基础的增删改查,就和你深入聊聊,在实际高性能、高并发、大数据量的场景下,那些真正能让你和团队生产力倍增、性能飞升的10种MySQL高级实战技巧。 希望对你会有所帮助。 它就像SQL的“X光片”,能告诉你MySQL究竟打算如何执行你的查询,瓶颈在哪里。 有些小伙伴在工作中写的SQL本身不复杂,但执行很慢,第一步就应该祭出EXPLAIN。 02 高级索引策略 索引是性能的基石,但错误的索引比没有索引更糟糕。 但它不是SQL标准,执行顺序有时反直觉,需谨慎使用。 在复杂的会话或事务中,变量的生命周期和作用域也需要仔细考量。 10 利用生成列与函数索引 生成列的值由表中其他列计算而来,可分为虚拟列(VIRTUAL,不存储,读取时计算)和存储列(STORED,持久化存储)。 这为建立高效的函数索引铺平了道路。
3) 离散写方面的性能差异 例如SQL Server数据库每次写一个数据块的数据,如4KB或8KB,由于每次写入的量不是很大,而且写入的次数非常频繁,因此联机日志看起来会像是连续写。 后来改造成RAID10,就避免了这个性能问题,每个磁盘的IOPS降到了100左右。所以,了解RAID5和RAID10原理,对我们根据应用系统的特点来做存储I/O设计,从而保证性能非常重要。 相关文章: RAID在SQL Server中的应用(RAID几种级别) RAID 10 vs. RAID 5 Performance SQL Server之RAID简介 SQL Server IO 子系统浅究 II SQLIO测试 SAN 服务器IO测试利器--SQLIO Raid5 Raid10 性能测试 SQL Server Performace on Solid State Drives (SSD)
调优SQL有很多路径,包括SQL改写、SQL逻辑调整、应用逻辑调整,没有千篇一律,更多是针对具体的场景,选择合适的方案。技术社群的这篇文章《逆天改命!仅一行SQL,查询时间提速10倍!》 通过不同的方案,讲解一个常见场景的优化,而且有些设计思路可以借鉴到实际的应用系统设计中,让其性能水准得到充分发挥。
作者从基础的数据库索引开始全面讲述了SQL Server数据库应用程序的性能优化,包括数据库设计和数据访问代码。 系列文章如下: Top 10 steps to optimize data access in SQL Server. Server, this article focuses on using indexing to optimize data access Top 10 steps to optimize data Top 10 steps to optimize data access in SQL Server. Top 10 steps to optimize data access in SQL Server.
类似于我们内部有一个系统给分析师用,他们写一些 sql,在我们的 spark cluster 上跑。 随着分析师越来越多,sql job 也越来越多,等待运行的时间也越来越长,我们就在想怎么把 sql 运行的时间加快一点。 我们的整个架构是 spark 1.6.1 on YARN 的,经过分析一些 sql 发现其实大多数分析语句都是比较简单的统计 sql,集群资源也还算多,一条简单的 sql 语句就把整个集群资源的坑占着略显不合适 但是原理上应该不会如此,只要一个 sql job 不需要全局所有集群资源,理论上来说会有较大提升的。下面是一组简单的数据对比: ? : 扩大到 10 倍,14ms Scheduler Delay: 这个指标不用估计 Task Deserialization Time: 扩大到 10 倍,6ms GC Time: 扩大到 10 倍,最多
Oracle 优化器RBO, CBO RBO 基于规则的优化器 oracle 10g开始,已经丢弃RBO CBO 基于成本的优化器 oracle 8中开始引入的 Oracle 解析器按照从右到左的顺序处理 ,在FROM 子句中包含多个表的情况下,你必须选择记录条数最小的表作为基础表, 如果有3个以上的表连接查,选择交叉表(Insertection table)作为基础表,交叉表指的是被其他表锁引用的表 性能优化 SQL语句中IN包含的值不应过多 MySQL对于IN做了相应的优化,即将IN中的常量全部存储在一个数组里面,而且这个数组是排好序的。但是如果数值较多,产生的消耗也是比较大的。 等价于 select * from 表A where exists(select * from 表B where 表B.id=表A.id) 区分in和exists主要是造成了驱动顺序的改变(这是性能变化的关键 如何高效的写出一个替代not exists的sql语句?
所谓高级处理,从用户的角度来讲,就是那些对数值进行排序,计算销售总额等我们熟悉的处理;从SQL的角度来讲,就是近几年才添加的新功能,这些新功能使得SQL的工作范围不断得到扩展。 窗口函数就是为了实现OLAP而添加的标准SQL功能。 为了避免混淆,SQL提供了一个用来判断超级分组记录的NULL的特定函数—GROUPING函数。 SQL的基础语法知识大致就是这些,如果你稍微会一点SQL,看到这些代码应该很好理解的。如果你没有编程基础,可能这些代码对于你来说过于难以理解。写的很粗糙,勉强可以用来温习SQL的语法。
SQL性能优化以及性能测试 博主介绍 笛卡尔连接 分页limit的sql优化的几种方法 笛卡尔连接 例1: 没有携带on的条件字句,此条slq查询的结构集等价于,a表包含的条数*b表包含的乘积: select 索引覆盖+inner (业界常用的优化方案) select * from table a inner join ( select 创建索引的字段 from table limit 30000,10) * from table limit 0,10; select found_rows() as count ; 通过此sql来获取count的结果(须在终端进行执行) 注意:缺点在mysql8.0.17 通过explain 查看sql的性能如果Extra的值为null时,说明是可以通过索引避免排序的.如果Extra的值是Using filesort 是不可以进行索引排序的 select * from table 10; //此sql可以使用索引避免排序的 /** *[Bader,last_name,emp_no] *[Bader,last_name,emp_no] *[Bader,last_name
循环添加10w行数据,测试索引效果 USE myschool; #创建测试表 DROP TABLE IF EXISTS Test; CREATE TABLE Test( id INT, NAME VARCHAR(50) ); # 循环添加10W条数据数据 DROP PROCEDURE IF EXISTS usp_initial_data; DELIMITER // CREATE PROCEDURE
第一层:客户端通过连接服务,将要执行的sql指令传输过来 第二层:服务器解析并优化sql,生成最终的执行计划并执行 第三层:存储引擎,负责数据的储存和提取 1.2 锁 数据库通过锁机制来解决并发场景-共享锁 被用来设计处理大量短期事务,具有高性能和自动奔溃恢复的特性。 MyISAM引擎,不支持事务和行级锁,奔溃后无法安全恢复。 如要删除一万条数据,可以分10次执行,每次执行完成后暂停一段时间,再继续执行。过程中可以释放服务器资源给其他任务。 分解关联查询。将多表关联查询的一次查询,分解成对单表的多次查询。 "value2"}'); SELECT * FROM json_test WHERE JSON_CONTAINS(name, '$.name1'); ---->来自JVM专家-达 关注explain在性能分析中的使用
SQL进阶-10-用SQL处理数列 在关系型数据库的数据结构中,默认是不考虑数据的顺序。处理有序集合在SQL中不能直接实现,但是可以通过集合和谓词来间接实现处理有序数据的需求。 需求1-生成连续编号 需求 不使用数据库中自带的函数,实现任意长的连续编号序列,比如生成0-99的100个连续编号 SQL实现 先解决一个问题:00-99这100个数字中,0,1,2……9这10个数字分别出现了多少次 生成一个digits表,用来存储各个数位上的数字,因为不管多大的数字都可以由0-9这10个数字组成 ? 通过对两个Digits集合求笛卡尔积得出0-99的数字 select D1.digit + (D2.digit * 10) as seq -- 两位数 from Digits D1 cross join 因为发生换排,9,10,11不再符合要求。因此,为了解决换排问题,需要保证:全部都在同一排 ?
(8) 删除重复记录 (9) 用TRUNCATE替代DELETE (10)尽量多使用COMMIT (11) 用Where子句替换HAVING子句 (12) 减少对表的查询 (13) 通过内部函数提高SQL ,还要做到写出性能优良的SQL,以下为笔者学习、摘录、并汇总部分资料与大家分享! (译者按: TRUNCATE只在删除全表适用,TRUNCATE是DDL不是DML) 回到顶部 (10)尽量多使用COMMIT 只要有可能,在程序中尽量多使用COMMIT, 这样程序的性能得到提高,需求也会因为 性能上的差异,关键看你的from和where子句。比如说如果你的where条件中可以通过索引,那显然 select 1 from ... 的性能比 select * from ... 好。 仔细检查order by语句以找出非索引项或者表达式,它们会降低性能。
因为分离了更改数据库buffer的任务:dbwn散列写buffer到disk中,执行快速的顺序写到redo,所以数据库提升了性能。 1.用户提交了一个事务。 优化技巧3:Oracle8及以后版本,推荐用CBO方式,Oracle10G此功能已经很强大。 Oracle优化器的优化模式主要有五种: Choose:默认模式。 优化技巧6:较小的表使用全表扫描,效率更高;较大的表应避免全表扫描,除非涉及全表记录10%以上的查询;避免给记录数少的表建立索引,避免索引开销。 优化技巧10:在组合索引中,没有按照建立时的索引关键字顺序描述,比如xyz变成了yxz,也会导致索引失效。 deptno from dept; 优化技巧18:Order By语句中的非索引列会降低性能,可以通过添加索引的方式处理。
在应用系统开发初期,由于开发数据库数据比较少,对于查询SQL语句,复杂视图的编写,刚开始不会体会出SQL语句各种写法的性能优劣,但是如果将应用系统提交实际应用后,随着数据库中数据的增加,系统的响应速度就成为目前系统需要解决的最主要的问题之一 在多数情况下,Oracle使用索引来更快的遍历表,优化器主要根据定义的索引来提高性能。 在编写SQL语句时我们应清楚优化器根据何种原则来删除索引,这有助于写出高性能之SQL语句。 下面就某些SQL语句的where子句编写中需要注意的问题作详细介绍。 也就是说如果某列存在空值,即使对该列建索引也不会提高性能。 任何在where子句中使用is null或is not null的语句优化器是不允许使用索引的。 仔细检查order by语句以找出非索引项或者表达式,它们会降低性能。
第一层:客户端通过连接服务,将要执行的sql指令传输过来 第二层:服务器解析并优化sql,生成最终的执行计划并执行 第三层:存储引擎,负责数据的储存和提取 1.2 锁 数据库通过锁机制来解决并发场景-共享锁 被用来设计处理大量短期事务,具有高性能和自动崩溃恢复的特性。 MyISAM引擎,不支持事务和行级锁,崩溃后无法安全恢复。 如要删除一万条数据,可以分10次执行,每次执行完成后暂停一段时间,再继续执行。过程中可以释放服务器资源给其他任务。 分解关联查询。将多表关联查询的一次查询,分解成对单表的多次查询。 name2": "value2"}'); SELECT * FROM json_test WHERE JSON_CONTAINS(name, '$.name1'); 来自JVM专家-达 关注explain在性能分析中的使用
我们要做到不但会写SQL,还要做到写出性能优良的SQL,以下为笔者学习、摘录、并汇总部分资料与大家分享! (译者按: TRUNCATE只在删除全表适用,TRUNCATE是DDL不是DML) (10)尽量多使用COMMIT 只要有可能,在程序中尽量多使用COMMIT, 这样程序的性能得到提高,需求也会因为 性能上的差异,关键看你的from和where子句。比如说如果你的where条件中可以通过索引,那显然 select 1 from ... 的性能比 select * from ... 好。 也就是说如果某列存在空值,即使对该列建索引也不会提高性能。 任何在where子句中使用is null或is not null的语句优化器是不允许使用索引的。 仔细检查order by语句以找出非索引项或者表达式,它们会降低性能。
第一层:客户端通过连接服务,将要执行的sql指令传输过来 第二层:服务器解析并优化sql,生成最终的执行计划并执行 第三层:存储引擎,负责数据的储存和提取 1.2 锁 数据库通过锁机制来解决并发场景-共享锁 被用来设计处理大量短期事务,具有高性能和自动崩溃恢复的特性。 MyISAM引擎,不支持事务和行级锁,崩溃后无法安全恢复。 如要删除一万条数据,可以分10次执行,每次执行完成后暂停一段时间,再继续执行。过程中可以释放服务器资源给其他任务。 分解关联查询。将多表关联查询的一次查询,分解成对单表的多次查询。 name2": "value2"}'); SELECT * FROM json_test WHERE JSON_CONTAINS(name, '$.name1'); 来自JVM专家-达 关注explain在性能分析中的使用
(译者按: TRUNCATE只在删除全表适用,TRUNCATE是DDL不是DML) (10) 尽量多使用COMMIT: 只要有可能,在程序中尽量多使用COMMIT, 这样程序的性能得到提高,需求也会因为 高效: SELECT LOC_ID , LOC_DESC , REGION FROM LOCATION WHERE LOC_ID = 10 UNION SELECT LOC_ID , WHERE REGION = “MELBOURNE” 低效: SELECT LOC_ID , LOC_DESC , REGION FROM LOCATION WHERE LOC_ID = 10 FROM LOCATION WHERE LOC_ID = 10 OR LOC_ID = 20 OR LOC_ID = 30 高效 SELECT… FROM LOCATION WHERE LOC_IN IN (10,20,30); (26) 避免在索引列上使用IS NULL和IS NOT NULL 避免在索引中使用任何可以为空的列,ORACLE将无法使用该索引.对于单列索引,如果列包含空值,索引中将不存在此记录
SQL 性能优化 总结 (1)选择最有效率的表名顺序(只在基于规则的优化器中有效): ORACLE的解析器按照从右到左的顺序处理FROM子句中的表名,FROM子句中写在最后的表(基础表 (10)尽量多使用COMMIT: 只要有可能,在程序中尽量多使用 COMMIT, 这样程序的性能得到提高,需求也会因为 COMMIT所释放的资源而减少: COMMIT所释放的资源: WHERE REGION =“MELBOURNE” 低效: SELECTLOC_ID , LOC_DESC , REGION FROM LOCATION WHERE LOC_ID = 10 FROM LOCATION WHERE LOC_ID = 10 OR LOC_ID = 20OR LOC_ID = 30 高效SELECT… FROM LOCATION WHERE LOC_IN IN (10,20,30); (26)避免在索引列上使用IS NULL和IS NOT NULL 避免在索引中使用任何可以为空的列,ORACLE将无法使用该索引.对于单列索引,如果列包含空值
今天在逛开源社区的时候,发现了一个基于 Spring Boot 技术体系的低代码开发平台 Diboot 挺有意思的,号称“关联无 SQL,性能高 10 倍”。 Vue,支持 ElementUI 和 Antd vue pro 基于 diboot-core 的 CRUD 和常规关联的 设计理念 Web 开发需要一个普适的基础框架,把复杂的问题简单化,最好还能做到更佳性能 工作台: 代码生成: 事务管理: 组织管理: 特点 基础组件高效简化,SQL 代码减少 80%以上,降低开发门槛 优雅注解省掉关联查询场景的 SQL 代码,彻底告别重复 CRUD 更优的 RBAC 主要特性: 单表 CRUD 无 SQL 关联绑定无 SQL(注解自动绑定) 数据字典无 SQL(注解自动绑定) 跨表查询无 SQL(自动构建 QueryWrapper 与查询) BaseService 支持常规的单表及关联开发场景接口 其他常用工具类、状态码、异常处理的更优实践封装 基于 diboot-core 的 CRUD 和常规关联的功能实现,代码量比传统 Mybatis 项目减少 80%+,且性能更好更易维护