首页
学习
活动
专区
圈层
工具
发布

MySQL 的 count(*) 的优化,获取千万级数据表的总行数

找了很多优化方案,最后另辟蹊径,选择了用explain来获取总行数。 二、关于count的优化 网上关于count()优化的有很多。...我朋友这边因为表中只有一个索引字段,所以使用count(1)和count()没什么区别。...MySQL中聚合函数count的使用和性能优化 (https://blog.csdn.net/lmy86263/article/details/73681633) mysql count(*) 会选哪个索引...三、使用explain获取行数 1、关于explain 关于explain,使用mysql的都知道,这个函数是专门用于查看sql语句的执行效率的,网上可供参考的文章很多。...我们使用explain之后,会看到返回很多参数,其中: rows:显示MySQL认为它执行查询时必须检查的行数。就是这个东西了,既然我们要获取的是数据表的行数,那么可以使用: ?

4.3K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Mysql获取数据的总行数count(*)很慢

    日常开发中,获取数据的总数是很常见的业务场景,但是我们发现随着数据的增长count(*)越来越慢,这个是为什么呢, count(*)的实现方式 我们要明确不同的存储引擎,他的实现方式不一样 MyiSAM...引擎把一个表的总行数存在了磁盘上,因此执行count(*)的时候直接返回个数,效率很高 而innoDB引擎就麻烦了,他的执行count(*)的时候,是一行行的累加计数 当然我们要知道此事的说的是没有带条件的...,所以主键索引比普通索引的树大些,因此mysql优化器会拿到索引树小的,进行遍历计算,在保证逻辑正确的前提下,尽量减少扫描的数据量,是数据库优化的通用手段之一 此时你可能还依稀记得下面命令可以获取行的数量...对于更细跟频繁的库来说,我们可能就会想到使用缓存系统,比如redis,于是我们试试用redis服务来保存这个表的行数,这个表每插入一条数据,redis就加1,每次删除就减一,试想一下还有什么问题吗 缓存系统可能会发生数据丢失...,由于redis不能永久的存储在内存中,因此我们可能会想到持久化存储起来,即使这样,万一redis异常重启了,有可能会发生数据丢失,比如数据插入一行数据,redis记录值加1,此时还没有持久化,此时redis

    6.6K20

    如何在MySQL中查看当前会话中存在哪些临时表?

    MySQL是一种常用的关系型数据库管理系统,广泛应用于各种规模的应用程序中。在MySQL中,临时表是一种特殊类型的表,它们仅在当前会话中存在,并在会话结束后自动删除。...VARCHAR(50) ); 创建临时表后,可以像普通表一样进行数据的插入、查询和删除操作。...通过查询INFORMATION_SCHEMA数据库,可以获取当前会话中存在的临时表的信息。...方法二:使用COMMIT语句 在MySQL中,当一个会话结束时,所有的临时表都将被自动删除。因此,可以通过执行COMMIT语句来结束当前会话,并查看当前会话中存在的临时表。...3、查找以“#sql”开头的表名,这些表是临时表。 临时表在MySQL中是一种非常有用的功能,它们可以帮助我们在当前会话中暂时存储和处理数据。

    2.8K10

    Mysql如何随机获取表中的数呢rand()

    现在临时表有10000行数据了,接下来你要在这个没有索引的内存临时表上,按照R字段排序 初始化sort_buffer中两个字段,一个是double,一个整形 从内存临时表中一行一行的获取R和位置信息,把字段放入到...sort_buffer的两个字段中,此时要全表扫描临时表,扫描的行数为10000行,此时总共扫描的行数变成了2000行 sort_buffer根据R字段进行排序,这里没有涉及到表的扫描 在根据sort_buffer...上图我们发现sort_buffer中的位置信息,是个什么概念呢,而Mysql是如何定位一行数据的呢, 首先我们知道mysql中有以下规则 对于有主键的innodb表来说,rowid就是我们的主键 对于没有主键的...而优先级算法,可以精准的获取最小的三个word 从临时表中获取前三行,组成一个最大堆 然后拿下一行数据,和最大堆的R比较,大于R,则丢弃,小于R,则替换 重复2的步骤,直到把10000行数据循环完成...现在如果要获取三个随机数,根据随机算法2的思路 获取整张表的总行数C 根据同样的共识获取Y1,Y2,Y3 再执行limit Y,1.获取三个随机数 对应的sql语句如下 mysql> select

    7.5K20

    dotnet OpenXML 获取 Excel 表格当前激活选择的工作表

    OpenXml 解析 Excel 文件 在 OpenXML 里面,可以通过 ActiveTab 属性拿到当前激活的工作表的序号。...这里有一个坑就是不能通过 WorksheetParts 的顺序去获取,如下面代码拿到的不一定是期望的工作表 // 下面的获取方法是错误的,不能通过 WorksheetParts...; var worksheet = worksheetPart.Worksheet; 以上就是获取激活的工作表的方法。...如果想要拿到选择的工作表,尽管大部分的 Excel 文件,当前激活的工作表就是被选择的工作表,不过通过下面代码可以再次判断当前激活的工作表是否是选择的 // 在工作表里面,也有一个属性表示当前是被选择的...TabSelected}"); 如果一个 Excel 表格的激活是在第二个工作表,但是选择的是第一个工作表,那么表现如下 本文以上的测试文件和代码放在github 和 gitee 欢迎访问 可以通过如下方式获取本文的源代码

    2K10

    mysql源和目标端表行数检查

    导数据是很长有的事, 导完了总得检查一下把, 云上有DTS很方便, 但是有的环境只能手动导数据了, 这比较就比较麻烦了, 或者是用户自己导的, 让你检查检查, 总之检查两个库之间表的数据量是很常见的工作...常见的工作做多了就饭, 就写个脚本, py效果更好, 但是不如shell方便(因环境而异). 我分享下脚本检查mysql两库之间数据行数的脚本吧....这个脚本是mysql的, 也可以改一改给pg或者oracle用, 我就不写了哈 1..../bin/env bash #write by ddcw at 2021.06.26 #检查mysql的表数据是否一致, 只检查行数量 #用法, sh $0.sh src_user/src_passowrd...'{print $1}')\033[0m" echo -e "一致的表: ${same_tbale} \t 不一致的表: ${no_same_tbale}" } init_param # echo

    1.6K20

    mysql查询数据表中记录行数及每行空间占用情况

    可查询数据库中每个表占用的空间、表记录的行数。...ENGINE:所使用的存储引擎 TABLE_ROWS:记录数 DATA_LENGTH:数据大小 INDEX_LENGTH:索引大小         计算出数据表中每行记录占用空间的目的是什么呢?...目的是知道该表在保证查询性能的前提下,单表能存储的行记录的上限。参考博客3中提到一个假设:假设一行记录的数据大小为1k,实际上现在很多互联网业务数据记录大小通常就是1K左右。...在这个假设下得出结论为单表B+树索引层级为3层时,能存储的行记录上限为21,902,400。         由此可知,一张表在保证查询性能的前提下,能存储的记录行数与每行记录的大小有关。...参考博客: 1.https://www.jianshu.com/p/8f086c98d591  mysql查询库大小,表行数,索引大小 2.https://www.cnblogs.com/mr-wuxiansheng

    3.7K30

    Mysql实现获取自增id插入到其他表中

    现在有这样一个需求,就是我向A表中插入一条数据,id是自增的。...插入之后,还需要向B表中插入一条数据,但是B表中需要保存的数据中要使用刚刚A表自增后的id, 这个其实是一个比较常见的需求,就是两张表之间的一个关联,如果用程序来执行也是很容易实现。...比如我就在用sql执行之后,获取A的id插入到B表中 实现方式如下: insert into A (id,name,code) values (null, "zhagnsan", "zs"); // 注意...A表的id要设置为自增,给null值即可 set @id = @@IDENTITY; // 使用id变量保存刚刚自增生成的id insert into B (id,a_id,name) values...(null, @id, "lisi"); // 使用变量获取A表Id 上面是用自定义变量的形式进行保存的,如果你只是想查一下是多少,可以直接使用: select @@IDENTITY; 好了,如果对你有帮助

    6.4K30

    mysql实现获取自增id插入到其他表中

    现在有这样一个需求,就是我向A表中插入一条数据,id是自增的。...插入之后,还需要向B表中插入一条数据,但是B表中需要保存的数据中要使用刚刚A表自增后的id, 这个其实是一个比较常见的需求,就是两张表之间的一个关联,如果用程序来执行也是很容易实现。...比如我就在用sql执行之后,获取A的id插入到B表中 实现方式如下: insert into A (id,name,code) values (null, "zhagnsan", "zs"); // 注意...A表的id要设置为自增,给null值即可 set @id = @@IDENTITY; // 使用id变量保存刚刚自增生成的id insert into B (id,a_id,name) values...(null, @id, "lisi"); // 使用变量获取A表Id 上面是用自定义变量的形式进行保存的,如果你只是想查一下是多少,可以直接使用: select @@IDENTITY; 好了,如果对你有帮助

    5.8K20

    谁说MySQL单表行数不要超过2000W?

    背景 网上看了一篇文章《为什么说MySQL单表行数不要超过2000w》,亲自实践了一下,跟原作者有不同的结论。...前置条件 查看sql语句执行时间和效率 show profiles; # 是mysql提供可以用来分析当前会话中语句执行的资源消耗情 况。可以用来SQL的调优测量。...单表建议值 下面我们就以 3 层,2 分叉(实际中是 M 分叉)的图例来说明一下查找一个行数据的过程。...,比如,数据库版本,服务器配置,sql 的编写等等,MySQL 为了提高性能,会将表的索引装载到内存中。...Mysql 的表数据是以页的形式存放的,页在磁盘中不一定是连续的。 2. 页的空间是 16K, 并不是所有的空间都是用来存放数据的,会有一些固定的信息,如,页头,页尾,页码,校验码等等。 3.

    1.1K40
    领券