首页
学习
活动
专区
圈层
工具
发布

故障分析 | MySQL 派生表优化

MySQL 5.7 之前的处理都是对 Derived table(派生表) 进行 Materialize(物化),生成一个 临时表 用于保存 Derived table(派生表) 的结果,然后利用 临时表...MySQL 5.7 中对 Derived table(派生表) 做了一个新特性,该特性允许将符合条件的 Derived table(派生表) 中的子表与父查询的表合并进行直接 JOIN,类似于 Oracle...解决派生表在关联过程中无法使用索引的问题。 我们先解决问题 1,这个问题比较简单。...这里 SQL 其实是因为 驱动表 bm_id 最终是和派生表作表关联,导致无法利用索引,我们可以尝试将 驱动表 bm_id 也放到子查询中,只要前后语义是一致的,那么改写就没问题。...SQL 执行计划,发现确实如我们预想的,在子查询中可以通过索引来进行表关联( 被驱动表 type 为 ref),然后 union all 汇聚数据,形成派生表,最后扫描派生表进行分组排序。

2K20

【MySQL 】MySQL 中的 int(11) 到底代表什么意思?

一、前言   在工作中经常要与 mysql 打交道,但是对 mysql 的各个字段类型一直都是一知半解,因此写本文总结记录一番。 二、简介 ?   ...对于 int 类型的一些基础知识其实上图已经说的很明白了,在这里想讨论下常用的 int(11) 代表什么意思,很长时间以来我都以为这代表着限制 int 的长度为 11 位,直到有天看到篇文章才明白,11...代表的并不是长度,而是字符的显示宽度,在字段类型为 int 时,无论你显示宽度设置为多少,int 类型能存储的最大值和最小值永远都是固定的,这里贴一些原文片段。   ...首先创建一张表: CREATE TABLE int_demo (     id INT(11) NOT NULL AUTO_INCREMENT,     a INT(11) NOT NULL,     ...三、结论 从上个例子我们可以得出以下几个结论:   1、如果一个字段设置了无符号和填充零属性,那么无论这个字段存储什么数值,数值的长度都会与设置的显示宽度一致,如上述例子中的字段 b,插入数值 1 显示为

4.9K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    A关联B表派生C表 C随着A,B 的更新而更新

    摘要: 本篇写的是触发器和外键约束 关键词: 触发器 | 外键约束 | 储存表链接更新 | Mysql 之所以用这个标题而没用触发器或者外键约束的原因, 1、是因为在做出这个需求之前博主是对触发器和外键约束丝毫理不清楚的...,所以这也是打算写博客的主要原因——在解决完工作需求后,通过博客梳理整个解决问题的思路,加深记忆的同时,也相当于给自己做一份线上笔记,方便以后取用。...2这个标题比较接地气,因为老板就是这样给我提需求的 先说需求: A关联B表派生C表 C随着A,B 的更新而更新 走的弯路: 关联更新,所以我的重点找到关联上去了,然后就找到了外键,看了一大波外键的文章博客...,看了这句话才知道要先设置索引,具体外键的设置问题,会 再写一篇博客详细说明,里面涉及的内容还是比较多的) 所以我就想到了什么?...再加一句,标题是三个表,我只写了两个表,其实原理都是一样的!会一个后面的就自由发散吧!哈哈

    2.2K10

    MySQL中的表设计优化

    在MySQL数据库中,表设计的优劣同样对性能有非常重要的影响。本节将介绍表设计的优化方法,包括巧用多表关系、表结构设计优化和表拆分等。...NULL值不利于索引,MySQL难以优化可为NULL的列查询。当可为NULL的列被索引时,每个索引记录需要一个额外的字节用于标识其是否可空。如果某列计划要创建索引,要尽量避免将其设计成可为NULL。...表的水平拆分是指,如果某个表的记录太多,如记录超过1000万条时,就要将该表中的全部记录分别存储到多个表中,并且要保证每个表的结构都是完全一致的。...表的垂直拆分是指,如果一个表中的字段太多,则需要将这些字段拆开并分别存储到多个表中,并且在这些表中要通过一个字段进行连接,其他字段都各不相同。...图4 垂直拆分效果 说明:本文节选自北京理工大学出版社新出版的《MySQL从入门到部署实战(视频教学版)》。

    1.9K10

    MySQL中的内存临时表

    MySQL中的内存临时表 这两天事情稍微有点多,公众号也停止更新了几天,结果有读者催更了,也是,说明还是有人关注,利己及人,挺好。...今天分享的内容是MySQL中的临时表,对于临时表,之前我其实没有过多的研究,只是知道MySQL在某些特定场景下会使用临时表来辅助进行group by等一些列操作,今天就来认识下临时表吧。 1、首先。...3、当数据库中物理表和临时表的时候,使用show create table查看的是临时表的内容: mysql> show create table test2\G *******************...7、临时表保存方法 在MySQL中,使用.frm来保存表结构,而使用.ibd来保存表数据,.frm文件一般是放在tmpdir这个参数指定的目录下面的。...这些临时表在内存中是通过链表的方式来表示的,如果一个session中包含两个临时表,MySQL会创建一个临时表的链表,将这两个临时表连接起来,实际的操作逻辑中,如果我们执行了一条SQL,MySQL会遍历这个临时表的链表

    7.8K30

    MySQL中临时表与普通表的区别

    MySQL是一款流行的关系型数据库管理系统,被广泛应用于各种规模的应用程序中。在MySQL中,有两种类型的表:临时表和普通表。...下面介绍MySQL中临时表与普通表的区别,包括定义、作用、生命周期、可见性、性能等方面。 临时表,临时表是一种在当前会话中存在的特殊类型的表,它们只对创建它们的会话可见,并在会话结束后自动删除。...生命周期 临时表:临时表只在创建它们的会话中存在,并在会话结束时自动删除。如果会话意外终止,临时表也会被删除。 普通表:普通表是持久的,除非显式删除或DROP TABLE语句执行后,否则会一直存在。...普通表:普通表通常比临时表查询结果慢,因为它们可能包含大量数据,并且可能由多个会话并发访问。但是,普通表可以针对特定的查询进行优化,例如使用索引。 在MySQL中,临时表和普通表都有自己的用途和作用。...临时表主要用于存储中间结果,处理大量数据和分解复杂逻辑;普通表主要用于长期数据存储和多个会话的访问。临时表只在创建它们的会话中可见,并在会话结束时自动删除,而普通表可以由任何会话访问和修改。

    2.5K10

    【MySQL 8.0神器揭秘】派生表条件下推——让你的SQL飙车不再是梦想!

    当派生表无法合并到外部查询中时(例如:如果派生表使用聚合),将外部WHERE条件下推到派生表应该会减少需要处理的行数,从而加快查询的执行。...2.5 派生条件下推的限制 如果派生表包含UNION,则无法使用优化。但是MySQL 8.0.29中取消了此限制(2.4中的演示有验证这一点)。...不能将包含不确定性表达式的条件下推到派生表中。 派生表不能使用limit子句。...,则可以向下推送使用参数的条件?。如果外部WHERE条件中的派生列是具有?在基础派生表中,不能向下推此条件。...(Bug#104918) 关于MySQL对于SQL子查询派生条件下推到派生表的优化,这次就暂时到这里。后续会介绍更多关于MySQL中对于SQL子查询的其它优化方式,敬待后续文章。

    1.3K11

    MySQL中的全表扫描案例

    MySQL中的全表扫描案例 这两天看到了两种可能会导致全表扫描的sql,这里给大家看一下,希望可以避免踩坑: 情况1: 强制类型转换的情况下,不会使用索引,会走全表扫描。...然后我们给这个表里面插入一些数据,插入数据之后的表如下: mysql:yeyztest 21:43:12>>select * from test; +----+------+-------+ | id...varchar类型的值,那么结果中扫描的行数rows就是1,而当我们使用的是整数值10的时候,扫描行数变为了7,证明,如果出现了强制类型转换,则会导致索引失效。...=作为条件的时候,扫描的行数是表的总记录行数。因此如果想要使用索引,我们就不能使用反向匹配规则。 情况3: 某些or值条件可能导致全表扫描。...简单总结一下: 1.强制类型转换的情况下,不会使用索引,会走全表扫描 2.反向查询不能使用索引,会导致全表扫描。 3.某些or值条件可能导致全表扫描。

    3.7K20

    MySQL中的表结构修改方法

    阅读目录 目的 表结构修改的基础语法 进阶操作 注意事项 目的 在日常的测试工作中,无论测试项目准备阶段还是测试执行阶段,团队成员经常会需要使用SQL语句进行测试数据的制作和准备,比较常用的就是增删查改等一些基础操作...,但偶尔也会涉及到修改表结构的极端情况。...表结构修改的基础语法 如有一张表"tb_user_info"结构为: +--------+----------+------+-----+---------+-------+ | Field | Type...30) | YES | | NULL | | +--------+----------+------+-----+---------+-------+ 下面就先做一些基础的表结构修改操作...user user_1 char(8),modify number int(12) default 13311111111; 注意事项 与创建字段相同,修改字段是不指定默认值,一律为null; 注意当表中只剩有一个字段的时候无法使用

    6.3K10

    mysql表中数据的增删改

    插入数据 方式1:VALUES的方式添加 使用这种语法一次只能向表中插入一条数据。...情况1:为表的所有字段按默认顺序插入数据 使用INSERT同时插入多条记录时,MySQL会返回一些在执行单行插入时没有的额外信息,这些信息的含义如下: ● Records:表明插入的记录条数。...字符和日期型数据应包含在单引号中 INSERT还可以将SELECT语句查询的结果插入到表中,此时不需要把每一条记录的值一个一个输入,只需要使用一条INSERT语句和一条SELECT语句组成的组合语句即可快速地从一个或多个表中向一个表中插入多行...更新中的数据完整性错误   删除数据 使用 DELETE 语句从表中删除数据  table_name指定要执行删除操作的表;“[WHERE ]”为可选参数,指定删除条件,如果没有WHERE子句,DELETE...语句将删除表中的所有记录。

    3.9K30

    mysql -- 清空表中数据

    mysql – 清空表中数据 删除表信息的方式有两种 : truncate table table_name; delete * from table_name; 注 : truncate操作中的table...可以省略,delete操作中的*可以省略 truncate、delete 清空表数据的区别 : 1> truncate 是整体删除 (速度较快),delete是逐条删除 (速度较慢) 2> truncate...不写服务器 log,delete 写服务器 log,也就是 truncate 效率比 delete高的原因 3> truncate 不激活trigger (触发器),但是会重置Identity (...标识列、自增字段),相当于自增列会被置为初始值,又重新从1开始记录,而不是接着原来的 ID数。...而 delete 删除以后,identity 依旧是接着被删除的最近的那一条记录ID加1后进行记录。如果只需删除表中的部分记录,只能使用 DELETE语句配合 where条件

    7.9K10

    Semi-join使用条件,派生表优化 (3)—mysql基于规则优化(四十六)

    ,超过系统变量tmp_table_size,则会在磁盘里创建b+树的临时表,如果比较小,则会创建内存里hash树的临时表,之后会物化表转连接,但如果直接转where 和on,则可能会出现子查询多条的情况...对于派生表优化 前面说的都是子查询放在where和on后面,在in里面,如果吧子查询放在from后面,就是派生表: SELECT * FROM ( SELECT id AS d_id,...派生表物化: 这种大家肯定是最容易想到的,mysql采用的是延迟物化策略,不是直接查询的时候就物化,免得降低效率。...,可以让我们减少创建临时表的开销。...但当里面有这些,就不可以合并派生表和外层表了,有聚合函数,比如max()等,比如distinct,group by,having等。 所以对于派生表,先进行外层和子表的合并,不行的话就物化子表。

    1.1K20

    MySQL中的两种临时表 外部临时表

    MySQL中的两种临时表 外部临时表 通过CREATE TEMPORARY TABLE 创建的临时表,这种临时表称为外部临时表。这种临时表只对当前用户可见,当前会话结束的时候,该临时表会自动关闭。...内部临时表在SQL语句的优化过程中扮演着非常重要的角色, MySQL中的很多操作都要依赖于内部临时表来进行优化。...内部临时表有两种类型:一种是HEAP临时表,这种临时表的所有数据都会存在内存中,对于这种表的操作不需要IO操作。另一种是OnDisk临时表,顾名思义,这种临时表会将数据存储在磁盘上。...如果HEAP临时表存储的数据大于MAX_HEAP_TABLE_SIZE(详情请参考MySQL手册中系统变量部分),HEAP临时表将会被自动转换成OnDisk临时表。...如果我们查询系统表的话,系统表的数据将被存储到内部临时表中。

    5.9K00

    删除MySQL表中的重复数据?

    前言一般我们将数据存储在MySQL数据库中,它允许我们存储重复的数据。但是往往重复的数据是作废的、没有用的数据,那么通常我们会使用数据库的唯一索引 unique 键作为限制。...那么如何在一个普通的数据库表中删除重复的数据呢?那我用一个例子演示一下如何操作。。。...和 不等于 2.中同时删除空的业务主键数据那么便有以下几个查询:/*1、查询表中有重复数据的主键*/select rd2.iccId from flow_card_renewal_comparing rd2...rd2 GROUP by rd2.iccId having count(rd2.iccId)>1 )or iccId is null注意一点是mysql做删除的时候会提示不能用查询的结果来做删除操作,...这个时候就需要将查询的数据作为一个临时表,起别名进行删除啦。

    11.3K10

    MySQL中的锁(表锁、行锁)

    MySQL大致可归纳为以下3种锁: 表级锁:开销小,加锁快;不会出现死锁;锁定粒度大,发生锁冲突的概率最高,并发度最低。...页面锁:开销和加锁时间界于表锁和行锁之间;会出现死锁;锁定粒度界于表锁和行锁之间,并发度一般 MySQL表级锁的锁模式(MyISAM) MySQL表级锁有两种模式:表共享锁(Table Read Lock...MySQL表级锁的锁模式     MySQL的表锁有两种模式:表共享读锁(Table Read Lock)和表独占写锁(Table Write Lock)。...当concurrent_insert设置为1时,如果MyISAM允许在一个读表的同时,另一个进程从表尾插入记录。这也是MySQL的默认设置。...另外,MySQL也提供了一种折中的办法来调节读写冲突,即给系统参数max_write_lock_count设置一个合适的值,当一个表的读锁达到这个值后,MySQL变暂时将写请求的优先级降低,给读进程一定获得锁的机会

    8.5K10

    MySQL中的锁(表锁、行锁)

    MySQL大致可归纳为以下3种锁: 表级锁:开销小,加锁快;不会出现死锁;锁定粒度大,发生锁冲突的概率最高,并发度最低。...页面锁:开销和加锁时间界于表锁和行锁之间;会出现死锁;锁定粒度界于表锁和行锁之间,并发度一般 MySQL表级锁的锁模式(MyISAM) MySQL表级锁有两种模式:表共享锁(Table Read Lock...MySQL表级锁的锁模式 MySQL的表锁有两种模式:表共享读锁(Table Read Lock)和表独占写锁(Table Write Lock)。...当concurrent_insert设置为1时,如果MyISAM允许在一个读表的同时,另一个进程从表尾插入记录。这也是MySQL的默认设置。...另外,MySQL也提供了一种折中的办法来调节读写冲突,即给系统参数max_write_lock_count设置一个合适的值,当一个表的读锁达到这个值后,MySQL变暂时将写请求的优先级降低,给读进程一定获得锁的机会

    8.9K20

    业务中的字典表的MySQL实现方案

    为什么需要字典表? 某些变量在多个地方使用,而且一般固定,但随系统升级和后期变化,可能需要改变,如果这些变量写死在代码里面将会变得难以维护,所以要将其从代码中抽离。...一般的业务系统客户端与用户交互的时候都会使用下拉框组件,对于某些比较固定的值的下拉组件的数据来源一般都是比较固定的文本。...设计字典表 通常分成两张表来实现,一个是字典类型,一个是字典 字典类型表: SYS_DICT_TYPE 字段名 类型 作用 备注 code varchar 编码 主键 name varchar 类型 展示用...字典表 : SYS_DICT ?...default 0不固定,固定的话用1 以上是字典表的关键列和结构设计,根据不同系统不同业务自定其他列。

    4.5K22

    Mysql误删表中数据与误删表的恢复方法

    当时想了一下,因为博主没有遇到过这个问题,但是也多少了解一些,所以就回答通过mysql的binlog日志进行恢复。   面试官当时问了一下具体的流程。就有些懵逼了。...数据库误删某表恢复方法,这个前提是针对每天有备份的数据库和开启binlog日志的 ,如果没有备份和binlog日志 恢复起来会非常非常麻烦,所以奉劝大家还是要备份!备份!备份!...-----------------------+---------------------------------------+ 6 rows in set (0.00 sec) /*首先查看一下数据表中的数据...| 5 | +----+--------------+------------+ 7 rows in set (0.00 sec) 以上就是数据库表被误删或数据被误删的恢复方法...*******************总结************************   此方法只能对启动binlog日志的mysql进行恢复   恢复过程中禁止在对数据库进行任何操作   数据库乃是企业的重中之重

    3.9K20
    领券