- 综合排序
- 最热优先
- 最新优先
- 来自专栏叁金大数据
SQL优化器简介
我们在工作中经常会听到这样的声音：“SQL查询慢？你给数据库加个索引啊”。虽然加索引并不一定能解决问题，但是这初步的体现了SQL优化的思想。 而数据库主要由三部分组成，分别是解析器、优化器和执行引擎。 ? 其执行逻辑是我们输入的SQL语句通过解析器解析成关系表达式，通过优化器把关系表达式转换成执行计划，最终通过执行引擎进行执行。 所以优化器在很大程度上决定了一个系统的性能。优化器的作用就好比找到两点之间的最短路径。 上篇文章我们提到了Calcite，Calcite本身就支持两种优化方式分别是RBO和CBO。 它是一种经验式的优化方法，优化规则都是预先定义好的，只需要将SQL按照优化规则的顺序往上套就行，一旦满足某个规则则进行优化。 随着大数据技术的飞速发展，静态的CBO已经无法满足我们SQL优化的需要了，静态的统计信息无法提供准确的参考，在执行计划的生成过程中动态统计才会得到最优的执行计划。 那么优化器的执行过程是怎样的呢？
1K20发布于 2019-03-15 - 来自专栏SQL查询优化
SQL查询优化器
背景 一般的，数据库管理系统(DBMS)有通用的架构模型，可分为四个模块：传输通信、查询处理器、执行引擎、存储引擎。其中查询处理器包括查询解析器和查询优化器，而查询优化器是实现SQL计划树优化的核心。 优化器分类 随着查询优化器的发展，提出不同"based"的优化器，包括 RBO(Rule-based Optimizer)、CBO(Cost-based Optimizer)、HBO(History-based 主流的查询优化器分类，一般仅分为两大类：RBO优化器和CBO优化器。目前，业界通用的数据库系统，其优化器也至少包括RBO和CBO优化器，结合两者进行计划树优化。 但优化规则较多时，搜索耗时较长或卡主。 总结 本文围绕SQL查询优化器进行展开说明，分别介绍优化器分类、优化器框架、优化器模型。 另，社区开源的SQL中间件Calcite具备完善的查询优化能力，基于Cascades统一搜索模型实现，更多可参考：《Calcite系列(九)：执行流程-优化器优化》 推荐阅读 《数据库查询优化器的艺术》
1.6K73编辑于 2024-06-30 - 来自专栏小工匠聊架构
Oracle优化10-SQL_TRACE
---- Oracle优化10-SQL_TRACE解读 Oracle优化11-10046事件 ---- 概述 当我们想了解一条SQL或者是PL/SQL包的运行情况时，特别是当他们的性能非常差时，比如有的时候看起来就好好像卡在什么地方一样 parse（分析） ：SQL的分析阶段 execute（执行）：SQL的执行阶段 fetch（数据提取）：数据的提取阶段 横向除了call(调用)之外，还包括 Count：计数器，表示当前的操作被执行了多少次 Misses in library cache during parse: 1–shared pool中没有命中，说明这是一次硬解析，软解析这里为0 Optimizer mode: ALL_ROWS–当前的优化器模式 递归SQL： 执行一条SQL语句衍生出执行的一些其他的SQL，这些衍生出来的SQL就叫做递归SQL。 的深度, og=1：optimizer goal优化器模式, plh=282154677：, tim=1481751318263300：时间戳 ---- STATS部分 id=2 ：执行计划的行源号
1.2K30发布于 2021-08-16 - 来自专栏csxiaoyao
mysql学习总结10 — 优化(sql语句层)-锁与sql优化
sql语句层的优化主要包括锁的使用、慢查询的定位、limit分页优化 1. 慢查询定位 2.1 临时启动慢查询日志 默认未开启 $ mysqld --safe-mode -slow-query-log # 慢查询阈值默认10秒，修改为1秒 mysql> show variables profiling = 1; (2) 查询时间 mysql> show profiles; (3) 不需要分析时关闭profile mysql> set profiling = 0; 3. limit分页优化 预处理：(1) 设置主键索引 (2) 关闭查询缓存 分页算法： limit (page-1)*length, length; 优化方法： 业务上解决：不允许翻过100页 不用offset，用条件查询
70620发布于 2019-02-15 - 来自专栏禅林阆苑
mysql学习总结10 — 优化(sql语句层)-锁与sql优化
mysql学习总结10 — 优化(sql语句层)-锁与sql优化 Write By CS逍遥剑仙 我的主页: www.csxiaoyao.com GitHub: github.com/csxiaoyaojianxian Email: sunjianfeng@csxiaoyao.com QQ: 1724338257 sql语句层的优化主要包括锁的使用、慢查询的定位、limit分页优化 1. 慢查询定位 2.1 临时启动慢查询日志 默认未开启 $ mysqld --safe-mode -slow-query-log # 慢查询阈值默认10秒，修改为1秒 mysql> show variables profiling = 1; (2) 查询时间 mysql> show profiles; (3) 不需要分析时关闭profile mysql> set profiling = 0; 3. limit分页优化 预处理：(1) 设置主键索引 (2) 关闭查询缓存 分页算法： limit (page-1)*length, length; 优化方法： 业务上解决：不允许翻过100页 不用offset，用条件查询
1.5K703发布于 2018-10-09 Spark SQL Catalyst 优化器详解
SparkSQLCatalyst优化器详解一、SparkSQLCatalyst导览宏观来看：SparkSQL语句，经过一个优化器（Catalyst），转化为RDD，交给集群执行。 称为未解析的逻辑计划（UnresolvedLogicalPlan，ULP）Analyzer模块：借助数据的元数据信息将ULP解析为逻辑计划（LogicalPlan，LP）Optimizer模块：根据各种RBO、CBO优化策略得到优化后的逻辑计划 （OptimizedLogicalPlan，OLP），主要是对LogicalPlan进行剪枝、合并等操作，进而删除掉一些无用计算，或对一些计算的多个步骤进行合并其中RBO是基于规则优化，CBO是基于代价优化 4.1RBO（基于规则的优化）RBO的优化策略就是对语法树再次进行一次遍历，模式匹配能够满足特定规则的节点，再进行相应的等价转换，即将一棵树等价地转换为另一棵树。 4.2CBO（基于代价的优化）CBO通过综合考虑数据的统计信息、操作算子的代价等因素，计算不同执行计划的代价，从而选择最优的物理执行计划，以提升查询性能。
19710编辑于 2026-02-08- 来自专栏Oracle数据库技术
【Oracle优化器】SQL计划指令（SQL Plan Directives）
概述 我们知道统计反馈（SFB）收集的SQL运行时的统计信息会保存在相应的共享游标中，但却不能够持久化，当数据库重启或者被优化的SQL文从内存中Age-out后，保存的信息就会丢失。 下一次执行时还要重新进行一遍自动重新优化。 另外，SQL计划指令（SQL Plan Directives）是基于查询表达式，而不是SQL语句，所以同一个SQL计划指令（SQL Plan Directives），可以被优化器应用多个SQL文中。 ※注意： 12c中SQL计划指令（SQL Plan Directives）只能通过12c自动重新优化（Automatic Reoptimization）功能 由优化器自己判断自动生成，无法通过手动生成。 > exec DBMS_SPD.SET_PREFS('SPD_RETENTION_WEEKS',10)-- 查看变更后的保存期间 SQL> SELECT DBMS_SPD.GET_PREFS('SPD_RETENTION_WEEKS
97720发布于 2020-03-26 - 来自专栏PHP在线
MySQL SQL语句优化的10条建议
另外字段尽可能用not null 3、当然无可避免某些字段会用到text，varchar等字符类型，最好将text艾段的单独出另外一个表出来（用主键关联好） 4、 字段的类型，以及长度，是一个很考究开发者优化功力的一个方面 如果表数据有一定的量了，不妨用PROCEDURE ANALYSE()命令来取得字段的优化建议！ 别的操作都进不来了，就我来说有时候我宁愿用for循环来一个个执行这些操作 9、不要用永久连接mysql_pconnet()；除非你真的非常肯定你的程序不会发生意外，不然很可能也会导致你的mysql死掉 10
1.3K50发布于 2018-03-08 - 来自专栏Java课堂
10个经典案例，聊聊如何优化慢 SQL
SQL 优化一般步骤 | 通过慢查日志等定位那些执行效率较低的 SQL 语句 | explain 分析SQL的执行计划 需要重点关注 type、rows、filtered、extra。 默认是关闭的，开启语句“set profiling = 1;” SHOW PROFILES ; SHOW PROFILE FOR QUERY #{id}; | trace trace 分析优化器如何选择执行计划 优化 SQL 语句：修改 SQL、IN 查询分段、时间查询分段、基于上一次数据过滤 改用其他实现方式：ES、数仓等 数据碎片处理 场景分析 | 案例 1：最左匹配 索引： KEY `idx_shopid_orderno by c desc limit 10000, 10; 对于大分页的场景，可以优先让产品优化需求，如果没有优化的，有如下两种优化方式： 一种是把上一次的最后一条数据，也即上面的 c 传过来，然后做“c | 案例 7：优化器选择不使用索引的情况 如果要求访问的数据量很小，则优化器还是会选择辅助索引，但是当访问的数据占整个表中数据的蛮大一部分时（一般是 20% 左右），优化器会选择通过聚集索引来查找数据。
3.4K31编辑于 2022-05-19 - 来自专栏数据和云
SQL优化之道 - 或许你不知道的10条SQL技巧
一、一些常见的SQL实践 （1）负向条件查询不能使用索引 select * from order where status!=0 and stauts! =1 not in/not exists都不是好习惯 可以优化为in查询： select * from order where status in(2,3) （2）前导模糊查询不能使用索引 select 可以优化为： select * from user where login_name=? limit 1 原因：你知道只有一条结果，但数据库并不知道，明确告诉它，让它主动停止游标移动 （10）把计算放到业务层而不是数据库层，除了节省数据的CPU，还有意想不到的查询缓存优化效果 select * from order where date < = CURDATE() 这不是一个好的SQL实践，应该优化为： $curDate = date('Y-m-d'); $res = mysql_query
1.9K50发布于 2018-03-07 - 来自专栏数据和云
【SQL执行计划】优化器相关Hint
ALL_ROWS Hint其实就相当于对目标SQL启用CBO，其优化器为ALL_ROWS。从Oracle 10g开始，ALL_ROWS就是默认的优化器模式。 这也意味着自Oracle 10g以来，默认情况下优化器启用的就是CBO，而且会依据各条执行路径的资源消耗量来计算它们各自的成本。 优化器模式FIRST_ROWS_n中只能是1、10、100和1000，但FIRST_ROWS(n) Hint中的n可以是除1、10、100和1000之外的所有值。 注意此时是使用了CBO，且优化器模式为默认值—ALL_ROWS 测试SQL-first_rows(10)，具体如下： 这里使用了一个提示first_rows(10)，其作用是优先返回10条记录。 从first_rows(10)的12变成了11 测试SQL-all_rows，具体如下： ALL_ROWS Hint其实就相当于对目标SQL启用CBO且优化器模式为ALL_ROWS，而ALL_ROWS本身就是自
1.2K40发布于 2018-03-06 - 来自专栏知无不言 - 畅所欲言
MySQL 查询优化器与 SQL 调试 （一）
1、MySQL 查询优化器与 SQL 调试 （一）要想写出更好的 SQL，一些基础概念和 SQL 调试是必不可少的。下面我们来看下查询优化器给我们做了哪些优化，执行器真正执行的 SQL 语句是什么。 system user 的值是指服务器生成的非客户端线程，用于处理内部的任务。比如：延迟行处理程序线程或副本主机上使用的 I/O 或 SQL 线程。 1.4、查询优化器MySQL 使用基于成本的优化器，它将尝试预测一个查询使用某种执行计划时的成本，并选择其中成本最小的一个。如何查询 SQL 的执行成本呢？ 1.4.1、查询优化器做了哪些优化有以下部分优化内容：重新定义关联表顺序MySQL 会根据相关的嵌套循环算法找到扫描行数更少的表去重新定义关联顺序。 但是有时候优化器给出的不是最佳的关联顺序，如果有超过 n 个表的关联，优化器需要检查 n 的阶乘种关联顺序，当这个变得非常大的时候，优化器不可能去检查每一种的关联成本，这时候优化器会选择 “贪婪” 搜索的方式查找
45730编辑于 2023-11-20 - 来自专栏java一日一条
SQL Server优化之SQL语句优化
DISTINCT：将重复的行从vt8中去除产生vt9 10. ORDER BY：将vt9的行按order by子句中的列列表排序生成一个游标vc10 11. TOP：从vc10的开始处选择指定数量或比例的行生成vt11 并返回调用者 看到这里，那么用过Linq to SQL的语法有点相似啊？ 只要我们在查询语句中没有强制指定索引，索引的选择和使用方法是SQLSERVER的优化器自动作的选择，而它选择的根据是查询语句的条件以及相关表的统计信息，这就要求我们在写SQL语句的时候尽量使得优化器可以使用索引 为了使得优化器能高效使用索引，写语句的时候应该注意： （1）不要对索引字段进行运算，而要想办法做变换，比如： SELECT ID FROM T WHERE NUM/2=100 应改为: SELECT ID AND 月=10 （3）不要对索引字段进行格式转换 日期字段的例子： WHERE CONVERT(VARCHAR(10), 日期字段,120)='2010-07-15' 应该改为 WHERE 日期字段
4.1K34发布于 2018-09-19 - 来自专栏MySQL系列
SQL优化——order by优化
1.1.order by优化1.1.1.知识点回顾在讲解order by优化前，先回顾一下order by的语法知识。 asc , age desc;1.1.2.两种排序方式MySQL有两种排序方式Using filesort和Using index，Using index的性能高于Using filesort，我们在优化排序操作时 ，尽量要优化为 Using indexUsing filesort : 通过表的索引或全表扫描，读取满足条件的数据行，然后在排序缓冲区sort buffer中完成排序操作，所有不是通过索引直接返回排序结果的排序都叫 1.1.3.order by优化案例演示1.1.3.1.案例A在上面我们创建了字段age和phone的联合索引，而且没有指定索引的排序顺序，此时索引在表中默认是按照升序排列的。 :MySQL有两种排序方式Using filesort和Using index，在优化排序操作时，尽量要优化为 Using index根据排序字段建立合适的索引，多字段排序时，索引需要遵循最左前缀法则。
1.7K20编辑于 2024-03-29 - 来自专栏用户8851017的专栏
SQL优化
MySQL常见的优化手段分为下面几个方面： SQL优化、设计优化，硬件优化等，其中每个大的方向中又包含多个小的优化点 SQL优化 此优化方案指的是通过优化 SQL 语句以及索引来提高 MySQL 数据库的运行效率 ，具体内容如下： 分页优化 例如： select * from table where type = 2 and level = 9 order by id asc limit 190289,10; 复制代码 id from table where type = 2 and level = 9 order by id asc limit 190289,10 ) b where a.id = b.id 复制代码 ，如果在一个 SQL 中关联的表越多，所占用的内存也就越大 如果程序中大量的使用了多表关联的操作，同时join_buffer_size设置的也不合理的情况下，就容易造成服务器内存溢出的情况，就会影响到服务器数据库性能的稳定性 的各个子查询中，以便优化器可以充分利用这些条件进行优化 此外，除非确实需要服务器去重，一定要使用union all，如果不加all关键字，MySQL会给临时表加上distinct选项，这会导致对整个临时表做唯一性检查
1.2K30发布于 2021-07-22 - 来自专栏爱明依
SQL 优化
SQL 优化 负向查询不能使用索引 select name from user where id not in (1,3,4); 应该修改为: select name from user where id user where create_time < FROM_UNIXTIME(CURDATE()); 最左前缀问题 如果给 user 表中的 username pwd 字段创建了复合索引那么使用以下SQL
73340编辑于 2022-04-01 - 来自专栏JAVA人生/面试技巧
SQL优化
优化手段： ① SQL优化 避免 SELECT *，只查询需要的字段。 小表驱动大表，即小的数据集驱动大的数据集： 当B表的数据集比A表小时，用in优化 exist两表执行顺序是先查B表再查A表查询语句：SELECT * FROM tb_dept WHERE id in ( SELECT id FROM tb_dept) ; 当A表的数据集比B表小时，用exist优化in ，两表执行顺序是先查A表，再查B表，查询语句：SELECT * FROM A WHERE EXISTS ② 优化索引的使用 尽量使用主键查询，而非其他索引，因为主键查询不会触发回表查询。 不做列运算，把计算都放入各个业务系统实现 查询语句尽可能简单，大语句拆小语句，减少锁时间 or 查询改写成 union 查询 不用函数和触发器 避免 %xx 查询，可以使用：select * from
87920发布于 2020-06-08 - 来自专栏FREE SOLO
SQL优化
1.有哪些数据库优化方面的经验? 用PreparedStatement， 一般来说比Statement性能高：一个sql 发给服务器去执行，涉及步骤：语法检查、语义分析， 编译，缓存。 基于语句的复制： 在主服务器上执行的SQL语句，在从服务器上执行同样的语句。MySQL默认采用基于语句的复制，效率比较高。 一旦发现没法精确复制时，会自动选着基于行的复制。 基于行的复制：把改变的内容复制过去，而不是把命令在从服务器上执行一遍.
1K20发布于 2019-04-19 - 来自专栏Java技术详解
SQL优化
SQL的编写尽量使用索引库查询。索引库查询是小表查询操作，耗费的查询数据性能时间较少。索引失效是由like模糊匹配所产生的查询性能问题。 SQL的编写过程涉及到的子查询不能嵌套太多，子查询会在运行内存中给数据输出对象分配内存空间。嵌套分配内存不利于内存空间的释放。表与表之间的关联关系建立通过外键和主表的主键进行关联。 SQL的数据输出数据区尽量使用简单的数据。聚集函数在SQL的输出数据区存在会生成数据输出集合，类似复杂数据对象不利于数据的检索。聚集函数输出数据会产生索引失效，需要重新对输出数据建立索引。 SQL的条件过滤is null 是不会扫描索引表。节省数据索引表的内存空间。条件or关键字尽量少用，也是不会和数据索引表产生关联。数据表的小表类似索引表，大表类似数据库记录表。
40410编辑于 2023-11-02 - 来自专栏P轴
SQL优化
Mysql查询优化方法 重点 思路：便面全表扫描 禁止用* 来查询，需要指定字段 in的个数在1000个以内 查询一条数据使用limit 1 尽量使用inner join 避免使用left join ! = 用 > or < 替换 between代替in exist 代替in 例如：优化前10s，优化后5s SELECT * from product WHERE title IN (SELECT title 所谓双机热备其实是一个复制的过程，复制过程中一个服务器充当主服务器，一个或多个服务器充当从服务。 这个复制的过程实质上是从服务器复制主服务器上MySQL的二进制日志（bin-log），并在从服务器上还原主服务器上的操作。 0 SQL_Remaining_Delay: NULL Slave_SQL_Running_State: Slave has read all relay log; waiting
68210编辑于 2022-11-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号