YEARWEEK(now()) 上周 SELECT * FROM 表名 WHERE YEARWEEK(date_format(submittime,'%Y-%m-%d')) = YEARWEEK(now())-1 当月...(时间字段名) 近6个月 select * from 表名 where submittime between date_sub(now(),interval 6 month) and now(); 查询本季度数据...select * from `ht_invoice_information` where QUARTER(create_date)=QUARTER(now()); 查询上季度数据 select *...from `ht_invoice_information` where QUARTER(create_date)=QUARTER(DATE_SUB(now(),interval 1 QUARTER)); 查询本年数据...select * from `ht_invoice_information` where YEAR(create_date)=YEAR(NOW()); 查询上年数据 select * from `ht_invoice_information
什么是索引 索引其实是一种能高效帮助MYSQL获取数据的数据结构,通常保存在磁盘文件中,好比一本书的目录,能加快数据库的查询速度。除此之外,索引是有序的,所以也能提高数据的排序效率。...通常MYSQL的索引包括聚簇索引,覆盖索引,复合索引,唯一索引,普通索引,通常底层是B+树的数据结构。 总结一下,索引的优势在于: 提高查询效率。 降低数据排序的成本。...如果data存储的是行数据,直接返回,如果存的是磁盘地址则根据磁盘地址到磁盘中取出数据。可以看出B树的查询效率是很高的。 B树存在着什么问题,需要改进优化呢?...B+树的等值查询过程是怎么样的? 如果在B+树中进行等值查询,比如查询等于13的数据。 查询路径为:磁盘块1->磁盘块2->磁盘块6。...InnoDB索引 我们常用的MySQL存储引擎一般是InnoDB,所以接下来讲讲几种不同的索引的底层数据结构,以及查找过程。 聚簇索引 前面讲过,每个InnoDB表有且仅有一个聚簇索引。
但IO等待增加,wa也不一定会上升(请求I/O后等待响应,但进程从核上移开了) 产生影响 用户和IO等待消耗了大部分cpu 吞吐量下降(tps) 查询响应时间增加 慢查询数增加 对mysql的并发陡增...,也会产生上诉影响 如何减少CPU消耗?...“引用表” SQL,调整SQL写法,充分利用现有索引,避免不必要的扫描,排序及其他操作 如减少复杂join,减少order by,尽量union all,避免子查询等 数据类型,够用就好,减少不必要使用大字段...升级cpu若经过减少计算和减少等待后还不能满足需求,cpu利用率还高T_T 是时候拿出最后的杀手锏了,升级cpu,是选择更快的cpu还是更多的cpu了?...低延迟(快速响应),需要更快的cpu(每个查询只能使用一个cpu) 高吞吐,同时运行很多查询语句,能从多个cpu处理查询中收益
但这整个过程我们并不知道,你可以先想一下,如何去拿到 id=1 的数据。 我们往下看,SQL 查询过程的具体流程如下图。...存储引擎层负责数据的存储和检索。其架构模式是插件式的,MySQL 支持 InnoDB(最常用,MySQL5.5.5 开始成为默认存储引擎)、MyISAM、Memory 等存储引擎。...如果不输入 -h、-P 则默认是 localhost:3306。 我们可以看到,上诉连接命令中 mysql 就是上文所说的客户端工具,用来跟服务端建立连接。...如果你的电脑没有配置 MySQL 的环境变量或者不在 MySQL 的安装路径下,可能提示 'mysql' 不是内部或外部命令,也不是可运行的程序或批处理文件。...Server 层是 MySQL 的核心部分,负责处理用户的连接请求、权限管理、查询解析、查询优化、执行计划生成、缓存管理等功能。
MySQL百万级数据排序分页查询1. 需求按照成绩降序排序,查询字段学号(id),姓名(name),分数(score),带排序的分页查询数据大小:五百万条2....在 MySQL 中我们创建的索引,默认索引的叶子节点是从小到大排序的,而此时我们查询排序时,是从大到小,所以,在扫描时,就是反向扫描,就会出现 Backward index scan 。...:优点:浅分页查询速度得到很好的提升缺点:深分页查询速度没有明显变化,如果走强制索引,查询时间还会大大增加分析: 在使用索引后,索引需要做一个回表操作,这个需要时间,而排序也需要时间,在执行深分页的时候...,查询走的是索引,然后再从子查询中获取到的20条数据在进行查询,查询走的是PRIMARY查询时间:1.054s优点: 深查询得到明显提升缺点: 当子查询结果集过多时不推荐使用6....优化查询4先将所有数据排序好,先根据score进行降序排序,score相同的情况下再根据id进行降序排序,然后在取前20条数据,这里还得和前端配合,前端每次发送请求都携带最后一个的id值和score值sql
另外 B+ 树的结构大致是这样子的: ? 这里数据的维护过程就不再详细赘述了,不清楚的朋友可以看上一篇文章 今天,我们就来一起看看对于 MySQL 的查询有哪些基本的原则。...,那这时候非主键索引是如何维护的呢?...如果不对 NAME 建立索引,那么就是将所有的数据查询出来,放在一个临时文件中,然后按照分组的字段将数据一组一组的分好。...结束语 索引查询基本原则总结 我们一般写 SQL 基本都是【等值 + 范围】的,这个是最常见的条件搜索,像这样子的情况一定要建立好索引,建立索引的根本依据就是要明白【MySQL 是如何帮我们维护非主键索引的...MySQL 是如何帮我们维护非主键索引的 其实在开头我已经强调过了,但是为了让大家在巩固下,我这里在来说一遍。
数据目录 -> 聚簇索引 -> 页 -> 行格式 -> 独立表空间 -> 区,组,段 -> 系统表空间…… 数据目录 众所周之,MySQL 的数据是存储在硬盘中的,而操作系统管理硬盘中的数据的方式就是文件系统...,所以通俗的来说,MySQL 中的数据是存在一个个文件中的,这些文件 的目录就叫 数据目录。...MySQL 8.0 的样子,但如果你使用的是更早的版本,你还会看到一种 .frm 的文件,这种文件用来描述表结构,8.0 之后, 表结构信息以 SDI 的形式放在了 .ibd 文件中,你可以使用官方提供...总结 最后,祭上大图吧 系统表空间 上面介绍了独立表空间的结构,它对应于数据库里的每一张表,但还有一些问题没有解决,比如如何确定哪张表对应哪个表空间等,这就需要系统表空间,一个 MySQL 服务只会对应一个系统表空间...MySQL 服务共有的信息被存储在系统表空间中,最重要的是 InnoDB 数据字典,通过它,我们才可以获取到表空间中的记录。 参考 小孩子 - MySQL 是怎么运行的
这时候如果你要继续,就需要重连,然后再执行请求了。 数据库里面,长连接是指连接成功后,如果客户端持续有请求,则一直使用同一个连接。...key 是查询的语句,value 是查询的结果。如果你的查询能够直接在这个缓存中找到 key,那么这个 value 就会被直接返回给客户端。 如果语句不在查询缓存中,就会继续后面的执行阶段。...; 尝试使用 inner join 替换 outer join; 简化子查询,决定结果缓存; MySQL 查询优化器有几个目标,但是其中最主要的目标是尽可能地使用索引,并且使用最严格的索引来消除尽可能多的数据行...优化器试图排除数据行的原因在于它排除数据行的速度越快,那么找到与条件匹配的数据行也就越快。如果能够首先进行最严格的测试,查询就可以执行地更快。...如何选择合适的存储引擎呢 这么多存储引擎,真是眼花缭乱,我们该如何选择呢?
这个时候就涉及到一个问题:如果MySQL服务宕机了,这些在内存中更新的数据会不会丢失? 答案是一定会存在丢失现象的,只不过MySQL做到了尽量不让数据丢失。接下来来看一下MySQL是怎么做的。...DML操作流程 加载数据页 通过上文可以知道,行记录是在数据页中,所以,当InnoDB接收到DML操作请求后,还是会去找「数据页」,查找的过程跟上文查询行记录流程是一样。...数据持久化方案 可以是可以,但是如果每次的DML操作都要将一个16KB的数据页刷到磁盘,其效率是极低的,估计也就没有人用MySQL了。但是如果不刷新到磁盘,就会发生MySQL服务宕机数据会丢失现象。...如果在MySQL服务宕机的时候,「Log Buffer」中的日志没有刷新到磁盘,这部分数据也是会丢失的,在重启后也不会恢复。...总结 InnoDB通过以上的操作可以尽可能的保证MySQL不丢失数据,最后再总结一下MySQL是如何保障数据不丢失的: 为了避免频繁与磁盘交互,每次DML操作先在「Buffer Pool」中的缓存页中执行
而存储引擎层负责数据的存储和提取。其架构模式是插件式的,支持 InnoDB、MyISAM、Memory 等多个存储引擎。...这时候如果你要继续,就需要重连,然后再执行请求了。 数据库里面,长连接是指连接成功后,如果客户端持续有请求,则一直使用同一个连接。...key 是查询的语句,value 是查询的结果。如果你的查询能够直接在这个缓存中找到 key,那么这个 value 就会被直接返回给客户端。 如果语句不在查询缓存中,就会继续后面的执行阶段。...对于更新压力大的数据库来说,查询缓存的命中率会非常低。除非你的业务就是有一张静态表,很长时间才会更新一次。比如,一个系统配置表,那这张表上的查询才适合使用查询缓存。...你会在数据库的慢查询日志中看到一个 rows_examined 的字段,表示这个语句执行过程中扫描了多少行。这个值就是在执行器每次调用引擎获取数据行的时候累加的。
明确需求 对这个问题有兴趣是源于一次开发中遇到要统计人数的需求。类似于“得到”专栏的订阅数。 但是我的数据量比这个大很多,而对数据的准确性要求就不那么高。所以首先要明确需求。...数据量大/准确性要求低/请求量大 这种场景一般是C端产品,比如上面说的得到APP的订阅数目,如果对一致性要求不高,可以直接在内存中使用缓存,用guava在内存中做一个缓存定时刷新即可,百万量级count...查询最新的N条数据 T3 redis#incr 在T2的时间点的时候会出现数据不一致,B看到的是数据已经更新,但是数据库还没更新。...; 在T1的时候,如果采用Mysql默认的事务隔离级别:读提交。...结合mysql的一些索引查询知识,我们可以大致得出如下结论。 ? 建议直接使用count(*)。 相关阅读 为什么要用自增主键? 蚂蚁金服面试题: 一条SQL查询语句如何执行的 索引使用策略及优化
这个时候就涉及到一个问题:如果MySQL服务宕机了,这些在内存中更新的数据会不会丢失?答案是一定会存在丢失现象的,只不过MySQL做到了尽量不让数据丢失。接下来来看一下MySQL是怎么做的。...DML操作流程加载数据页通过上文可以知道,行记录是在数据页中,所以,当InnoDB接收到DML操作请求后,还是会去找「数据页」,查找的过程跟上文查询行记录流程是一样。...数据持久化方案可以是可以,但是如果每次的DML操作都要将一个16KB的数据页刷到磁盘,其效率是极低的,估计也就没有人用MySQL了。但是如果不刷新到磁盘,就会发生MySQL服务宕机数据会丢失现象。...如果在MySQL服务宕机的时候,「Log Buffer」中的日志没有刷新到磁盘,这部分数据也是会丢失的,在重启后也不会恢复。...总结InnoDB通过以上的操作可以尽可能的保证MySQL不丢失数据,最后再总结一下MySQL是如何保障数据不丢失的:为了避免频繁与磁盘交互,每次DML操作先在「Buffer Pool」中的缓存页中执行,
通常,这类数据将包含一个分类级别作为行的一部分,定义如何处理、审计等策略。...敏感数据可以与带有标签的数据穿插在一起,例如 公开 未分类 其他 当然,您可以在MySQL Audit中打开常规的选择/读取审计。...– Commercial 或者执行 mysql> select @@version; 如何安装审计插件的详细“操作方法” https://dev.mysql.com/doc/refman/8.0/en...上面是强制执行审计的操作方式。 首先,我将编写一个简单的函数,其中包含我想在审计跟踪中拥有的审计元数据。...`info_cat_test`; 如果我为这种类型的SQL事件(读)设置了一个审计过滤器,我可以看到表数据被访问了——但是正如您所看到的,我不知道fred是否被选中了。
在其官方的Benchmarks中,只读的性能超过了每秒一百万次: 读写的性能接近每秒二十五万次: MySQL Index Why Index 从概念上讲,数据库是数据表的集合,数据表是数据行和数据列的集合...索引是如何工作的 首先,在你的MySQL上创建t_user_action_log 表,方便下面进行演示。 CREATE DATABASE `ijiangtao_local_db_mysql` /*!...比如上图,action值为2的索引值分类存储在了索引空间,可以快速地查询到索引值所对应的列。 如何使用 下面介绍一下如何使用SQL创建、查看和删除索引。...Key key列显示MySQL实际决定使用的键(索引),如果没有选择索引,键是NULL。...考虑使用ENUM类型 如果你的数据列的取值是确定有限的,可以使用ENUM类型代替字符串。因为MySQL会把这些值表示为一系列对应的数字,这样处理的速度会提高很多。
sql,都会说,很简单的一个查询语句,执行结果是查询order表中id=10的所有数据,但是大家知道这个sql在Mysql内部是如何执行的吗?...存储引擎包括InnoDB、MyISAM等,目前最常用的存储引擎是InnoDB,在Mysql5.5.5.版本开始InnoDB就是默认存储引擎了3.连接器第一步,需要先连接到数据库上,这时候就是连接器在发挥作用...,然后验证身份如果用户名或者密码不对,你就会收到一个"Access denied for user"的错误如果用户名或者密码验证通过,连接器就会通过权限表查询当前用户的权限,之后所有的操作都依赖该次查询到的权限这也意味着如果这是修改了当前用户的权限...当过多用户访问数据库的时候,会导致内存膨胀,最终产生OOM,让mysql宕机解决方案:定期断开长连接如果发现比较大的请求时,执行完请求,刷新一下连接4.查询缓存连接建立完成后,就开始执行sql语句了,首先会执行查询缓存执行...sql语句会先走缓存,如果命中缓存,就直接返回结果,如果没有命中缓存,则继续往下执行由于在mysql8.0之后查询缓存模块已经被删除,咱们也就不详细讲解这一块了5.
MySQL索引是如何提高查询效率的呢?...在其官方的Benchmarks中,只读的性能超过了每秒一百万次: 读写的性能接近每秒二十五万次: MySQL Index Why Index 从概念上讲,数据库是数据表的集合,数据表是数据行和数据列的集合...索引是如何工作的 首先,在你的MySQL上创建t_user_action_log 表,方便下面进行演示。 CREATE DATABASE `ijiangtao_local_db_mysql` /*!...Key key列显示MySQL实际决定使用的键(索引),如果没有选择索引,键是NULL。...考虑使用ENUM类型 如果你的数据列的取值是确定有限的,可以使用ENUM类型代替字符串。因为MySQL会把这些值表示为一系列对应的数字,这样处理的速度会提高很多。
数据的一致性和完整性对于在线业务的重要性不言而喻,如何保证数据不丢呢?今天我们就探讨下关于数据的完整性和强一致性,MySQL做了哪些改进。 1....日志在写入redo log buffer后是如何持久化到磁盘的呢?...1的安全性最高,但是对性能影响最大,2的话主要由操作系统自行控制刷磁盘的时间,如果仅仅是MySQL宕机,对数据不会产生影响,如果是主机异常宕机了,同样会丢失数据。...MySQL在recovery时通过redo log进行恢复,redo log记录的是页上的物理操作,但是这里有个问题,如果页本身就是错的,比如发生页的部分写问题(页大小是 16K,假设在把内存中的脏页写到数据库的时候...小结 今天我们聊了MySQL的二阶段提交和double write机制,分别解决了在MySQL宕机重启以及发生页的部分写的场景下,MySQL是如何做到不丢失数据。
上篇文章我们聊了单机模式下,MySQL是如何保证数据一致性的,但是在实际的生产环境中,很少采用单机模式。现在所有的集群架构都是从MySQL的主从复制演变过来的。...MySQL的主从复制是通过将主库的binlog发送至从库,从库重新提交主库的变更来实现主从数据的一致性。MySQL的主从复制主要分为三种:异步复制、半同步复制、组复制(MGR)。 1....异步复制是MySQL的默认复制方式,其原理就是主库写入binlog日志后即可成功返回给客户端,不用等待binlog日志传递给从库。...如果slave端还没有读取到该事务的events,同时主库发生crash,然后切换到了备库,那么之前已经在主库提交的时候就不见了,这时就出现了数据不一致的问题,如果主库用于启动不了了,那么该事务也就丢失了...4.小结 今天我们一起聊了MySQL在集群模式下的三种复制模式,从异步复制到半同步复制再到组复制,从易丢失数据到实现数据的强一致性,再到MGR的无损复制,也代表了MySQL的复制模式的进化史,代表了MySQL
fa只要保证redolog 和 binlog 持久化到磁盘, 就能保证mysql异常重启后, 数据可以恢复. binlog与redolog的写入机制 binlog的写入机制 binlog 的写入逻辑比较简单...中,物理上是在 MySQL 进程内存中,就是图中的红色部分; 写到磁盘 (write),但是没有持久化(fsync),物理上是在文件系统的 page cache 里面,也就是图中的黄色部分; 持久化到磁盘...一些问题: 如果你的 MySQL 现在出现了性能瓶颈,而且瓶颈在 IO 上,可以通过哪些方法来提升性能呢?...这个方法是基于“额外的故意等待”来实现的,因此可能会增加语句的响应时间,但没有丢失数据的风险 将 sync_binlog 设置为大于 1 的值(比较常见是 100~1000)。...这样做的风险是,主机掉电的时候会丢数据 执行一个 update 语句以后,我再去执行 hexdump 命令直接查看 ibd 文件内容,为什么没有看到数据有改变呢? 这可能是因为 WAL 机制的原因。
在in之后的列表中的值,多选一 LIKE 占位符 模糊匹配(_匹配单个字符,%匹配任意个字符) IS NULL 是NULL 逻辑运算符 功能 AND 或 && 并且(多个条件同时成立) OR 或 ||...非 不是 条件查询Exercises 1.查询年龄等于 88 的员工 select * from emp where age = 88; 2.查询年龄小于 20 的员工信息 select...= 88; 7.查询年龄在15岁(包含) 到 20岁(包含)之间的员工信息 select * from emp where age between 15 and 20; 注意:between 之后是最小值...,and 之后是最大值。...select * from emp where name like '__'; 11.查询身份证最后一位是 x 的员工信息 select * from emp where idcard like '%