首页
学习
活动
专区
圈层
工具
发布

MySQL 的 count(*) 的优化,获取千万级数据表的总行数

来源:blog.csdn.net/LJFPHP/article/details/84400400 一、前言 这个问题是今天朋友提出来的,关于查询一个1200w的数据表的总行数,用count(*)的速度一直提不上去...找了很多优化方案,最后另辟蹊径,选择了用explain来获取总行数。 二、关于count的优化 网上关于count()优化的有很多。...博主这边的思路就是没索引的就建立索引关系,然后使用count(1)或者count()来提升速度。这两个函数默认使用的是数据表中最短的那个索引字段。...三、使用explain获取行数 1、关于explain 关于explain,使用mysql的都知道,这个函数是专门用于查看sql语句的执行效率的,网上可供参考的文章很多。...我们使用explain之后,会看到返回很多参数,其中: rows:显示MySQL认为它执行查询时必须检查的行数。就是这个东西了,既然我们要获取的是数据表的行数,那么可以使用: ?

4.3K20

Mysql获取数据的总行数count(*)很慢

引擎把一个表的总行数存在了磁盘上,因此执行count(*)的时候直接返回个数,效率很高 而innoDB引擎就麻烦了,他的执行count(*)的时候,是一行行的累加计数 当然我们要知道此事的说的是没有带条件的...,所以主键索引比普通索引的树大些,因此mysql优化器会拿到索引树小的,进行遍历计算,在保证逻辑正确的前提下,尽量减少扫描的数据量,是数据库优化的通用手段之一 此时你可能还依稀记得下面命令可以获取行的数量...对于更细跟频繁的库来说,我们可能就会想到使用缓存系统,比如redis,于是我们试试用redis服务来保存这个表的行数,这个表每插入一条数据,redis就加1,每次删除就减一,试想一下还有什么问题吗 缓存系统可能会发生数据丢失...比如有个页面要显示近期操作的100条记录和总操作数,这页面的逻辑就是到redis获取总数,再到数据库获取100条记录,如下两种会发生数据不一致的情况 查询到100结果里面有最新插入的数据,而redis...不管上面那种时序去查询数据,最终的结果都会不准确, 使用数据库保存计数 我们可以使用在数据库新建一张表C去记录操作的总行数,由于innodb支持崩溃恢复不丢失数据的,因此可以解决数据丢失的问题,是否能解决不准确的问题呢

6.6K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    mysql源和目标端表行数检查

    导数据是很长有的事, 导完了总得检查一下把, 云上有DTS很方便, 但是有的环境只能手动导数据了, 这比较就比较麻烦了, 或者是用户自己导的, 让你检查检查, 总之检查两个库之间表的数据量是很常见的工作...常见的工作做多了就饭, 就写个脚本, py效果更好, 但是不如shell方便(因环境而异). 我分享下脚本检查mysql两库之间数据行数的脚本吧....\ DST_PORT=3306 \ DST_DBNAME=db2 \ PARALLEL=16 \ TABLE_FILE=table.txt 本脚本如果不指定TABLE_FILE参数的话, 默认会比较数据库下面所有的表.../bin/env bash #write by ddcw at 2021.06.26 #检查mysql的表数据是否一致, 只检查行数量 #用法, sh $0.sh src_user/src_passowrd...'{print $1}')\033[0m" echo -e "一致的表: ${same_tbale} \t 不一致的表: ${no_same_tbale}" } init_param # echo

    1.6K20

    谁说MySQL单表行数不要超过2000W?

    背景 网上看了一篇文章《为什么说MySQL单表行数不要超过2000w》,亲自实践了一下,跟原作者有不同的结论。...首先我们先想想数据库单表行数最大多大?...单表建议值 下面我们就以 3 层,2 分叉(实际中是 M 分叉)的图例来说明一下查找一个行数据的过程。...,比如,数据库版本,服务器配置,sql 的编写等等,MySQL 为了提高性能,会将表的索引装载到内存中。...但是,当单表数据库到达某个量级的上限时,导致内存无法存储其索引,使得之后的 SQL 查询会产生磁盘 IO,从而导致性能下降,所以增加硬件配置(比如把内存当磁盘使),可能会带来立竿见影的性能提升哈。

    1.1K40

    MySQL数据库表的约束

    约束是为了安全插入数据,保证数据的合法性,防止无效数据进入数据库。它类似编译器语法提示,减少防止程序员在不知情的情况下插入错误数据。其中数据类型本身就是一种约束。...表的约束:表中一定要有各种约束,通过约束让我们未来插入数据库表中的数据是否合法的预期。本质通过技术手段倒逼程序员插入正确的数据。而站在MySQL视角,插入进来是数据一定是合法的。...为什么要约束:数据库是维护数据的最后一道防线,必须保证数据的完整性和可预期性。 1.null属性 在建表过程中,我们为数据类型添加时可以指定null或not null属性。...主键所在的列通常是整数类型。 在数据库操作中,增删查改通常需要依赖主键,以确保数据的唯一性和操作的准确性。 在插入数据时不允许主键重复。...外键约束的是表和表之间的关系。

    50610

    mysql数据库--表的操作

    1.创建表 按照上次的那个创建表的操作,我们创建完成之后首先就是去把这个use一下,即进入到这个表里面去; 然后我们就可以进行下面的创建表的操作; 上面这个就是进行创建表的指令: 首先还是使用这个mysql...-uroot -p进入到这个mysql里面,可以使用这个免密码的进入; create就是在创建表。...,说我们没有这个对应的权限,切换完成之后,使用ls /var/lib/mysql指令,这个里面就是我们的这个对应的库里面的表结构,我们所在的表就在这个打印结果里面; 因为我是在这个d3数据库的下面创建的表....查看表 我们可以先使用下面的select指令查看当前的数据库,我们是在那个库的下面,然后我们就可以查看这个库里面的表; show tables表示显示这个库里面的所有的表,因为我只是创建了一个表user1...,因此这个就只会显示user1表; desc可以查看这个表的相关的属性,例如这个字段的名字,字段的类型,是否为空,默认值以及这个扩充的情况,后面我们都会学到; 其实这个数据库的所有信息都可以显示出来,包括我们创建这个数据库的操作

    5K00

    MYSQL数据库-表的约束

    零、前言 本章主要讲解学习MYSQl数据库中的表的约束 表的约束 真正约束字段的是数据类型,但是数据类型约束很单一,需要有一些额外的约束,更好的保证数据的合法性,从业务逻辑角度保证数据的正确性...包含班级名和班级所在的教室 如果班级没有名字,你不知道你在哪个班级,如果教室名字可以为空,就不知道在哪上课 所以在设计数据库表的时候,一定要在表中进行限制,满足上面条件的数据就不能插入到表中,这就是...在关系数据库中,索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构,它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单 索引的作用相当于图书的目录...这样可以使对应于表的SQL语句执行得更快,可快速访问数据库表中的特定信息 7、唯一键 一张表中有往往有很多字段需要唯一性,数据不能重复,但是一张表中只能有一个主键:唯一键就可以解决表中有多个字段需要唯一性约束的问题...解决方案就是通过外键完成的。建立外键的本质其实就是把相关性交给mysql去审核了,提前告诉mysql表之间的约束关系,那么当用户插入不符合业务逻辑的数据的时候,mysql不允许你插入

    9.8K30

    MySQL十四:单表最大2000W行数据

    单表超过2000W行数据一定会导致性能下降吗?我认为是不一定的,虽然说建议单表不超过2000W,但是我不接受它的建议可不可以?那必然也是可以的。...一、单表最大到底能存多少数据 先来看看下面这张图,了解一下mysql各个类型的大小 我们知道在MySQL是支持主键自增长的,不考虑其他因素的前提下,理论上只有主键没有用完,表中的数据就可以一直增加。...但是数据量的大小却跟2000W没啥影响,既然百度大佬推荐单表最大2000W行数据,那肯定不会是空口白话,一定定会有其他影响行数的因素」。...2.1 数据存储的结构 在MySQL中默认的存储引擎是InnoDB,在之前的《存储引擎》中有说过,InnoDB为每个表都生成了两个文件: .frm文件:表结构文件 .ibd文件:数据文件(聚簇索引包含数据与索引...,每条的大小都为1KB,即每个数据页存储15条数据。」

    6.6K50

    【MySql】MySQL数据库--什么是MySQL的回表 ?

    专栏持续更新中:MySQL详解 一、背景 先要从 InnoDB 的索引实现说起,InnoDB 有两大类索引: 聚集索引(clustered index) 普通索引 (secondary index...InnoDB 聚集索引 的叶子节点存储行记录,因此,InnoDB 必须要有,且只有一个聚集索引: 如果表定义了主键,则主键就是聚集索引; 如果表没有定义主键,则第一个 not null 的 unique...通俗的讲就是,如果索引的列在 select 所需获得的列中(因为在 mysql 中索引是根据索引列的值进行排序的,所以索引节点中存在该列中的部分值)或者根据一次索引查询就能获得记录就不需要回表,如果 select...所需获得列中有大量的非索引列,索引就需要到表中找到相应的列的信息,这就叫回表。...四、解决办法 使用覆盖索引可以解决上面所说的回表的问题。

    2.6K10
    领券