首页
学习
活动
专区
圈层
工具
发布

MySQL 的 count(*) 的优化,获取千万级数据表的总行数

来源:blog.csdn.net/LJFPHP/article/details/84400400 一、前言 这个问题是今天朋友提出来的,关于查询一个1200w的数据表的总行数,用count(*)的速度一直提不上去...找了很多优化方案,最后另辟蹊径,选择了用explain来获取总行数。 二、关于count的优化 网上关于count()优化的有很多。...我朋友这边因为表中只有一个索引字段,所以使用count(1)和count()没什么区别。...三、使用explain获取行数 1、关于explain 关于explain,使用mysql的都知道,这个函数是专门用于查看sql语句的执行效率的,网上可供参考的文章很多。...我们使用explain之后,会看到返回很多参数,其中: rows:显示MySQL认为它执行查询时必须检查的行数。就是这个东西了,既然我们要获取的是数据表的行数,那么可以使用: ?

4.3K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    为获取导入百分比,使用easyexcel获取导入excel表总行数

    背景 分批读取大量数据的excel文件,每次读取1000行数据,然后插入数据库,并且去执行一个方法,执行完毕后更新此行数据的状态。需要获取已更新数据的占比,即计算百分比。...因为是分批读取的,我们不可以直接用已更新状态数量/数据库中总数。因为可能一次读取的1000行数据更新状态很快,直接1000/1000 * 100=100%了。...但实际上excel文件中实际有1w行数据,那么我们要获取excel的总行数。...方法 使用easyexcel获取总行数,记录一下, 在创建监听器时,重写invoke方法时,使用下面代码获取总行数(含表头): public void invoke(DemoData data, AnalysisContext...); } 目前只能获取大概的条数(每个excel都会记录一个总条数,但是这个总条数由于各种空行等原因,不一定正确),无法精确获取,要精确获取的自己在监听器里面一条条统计 监听器举例: // 有个很重要的点

    2.3K11

    Mysql获取数据的总行数count(*)很慢

    日常开发中,获取数据的总数是很常见的业务场景,但是我们发现随着数据的增长count(*)越来越慢,这个是为什么呢, count(*)的实现方式 我们要明确不同的存储引擎,他的实现方式不一样 MyiSAM...引擎把一个表的总行数存在了磁盘上,因此执行count(*)的时候直接返回个数,效率很高 而innoDB引擎就麻烦了,他的执行count(*)的时候,是一行行的累加计数 当然我们要知道此事的说的是没有带条件的...对于更细跟频繁的库来说,我们可能就会想到使用缓存系统,比如redis,于是我们试试用redis服务来保存这个表的行数,这个表每插入一条数据,redis就加1,每次删除就减一,试想一下还有什么问题吗 缓存系统可能会发生数据丢失...,由于redis不能永久的存储在内存中,因此我们可能会想到持久化存储起来,即使这样,万一redis异常重启了,有可能会发生数据丢失,比如数据插入一行数据,redis记录值加1,此时还没有持久化,此时redis...由于事物可见性的特性,会话A没有提交的操作在会话B中是不可见的,查询计数值总数和查询最近100记录数据上是一致的。

    6.5K20

    如何快速获取AWR中涉及到的表

    而相关对象,最佳方式是应用直接提供,这样最准确;但是各种原因,应用无法提供,那么DB层面观察,从测试期间的AWR获取,可以有不同维度: 1.精确找到所有I/O慢的TOP SQL,收集相关表进行预热 2....尽可能找更多AWR中的SQL,收集相关表进行预热 如果是第一种方式,需要人工去定位,SQL数量会很少的几条。...那有什么简单的方式吗? AWR本质就是文本内容,我们可以依据通常出现在表名前的关键字来定位。同样是有多种维度,比如SELECT语句表名前会有FROM关键字。...u 预热的方式: --全表扫描的hints select /*+ full(a) */ count(*) from Z_OBJ a; Tips: 若使用Exadata的一体机,还可以同时选择将该表keep...到flash中: alter table Z_OBJ storage(cell_flash_cache keep);

    2.5K30

    Mysql如何随机获取表中的数呢rand()

    从words表中,按照主键顺序取出word值,使用rand()让每一个word生成一个大于0小于1的小数,并把这个小数和word放入到临时表的R,W,到此扫描行数是10000....现在临时表有10000行数据了,接下来你要在这个没有索引的内存临时表上,按照R字段排序 初始化sort_buffer中两个字段,一个是double,一个整形 从内存临时表中一行一行的获取R和位置信息,把字段放入到...sort_buffer的两个字段中,此时要全表扫描临时表,扫描的行数为10000行,此时总共扫描的行数变成了2000行 sort_buffer根据R字段进行排序,这里没有涉及到表的扫描 在根据sort_buffer...而优先级算法,可以精准的获取最小的三个word 从临时表中获取前三行,组成一个最大堆 然后拿下一行数据,和最大堆的R比较,大于R,则丢弃,小于R,则替换 重复2的步骤,直到把10000行数据循环完成...现在如果要获取三个随机数,根据随机算法2的思路 获取整张表的总行数C 根据同样的共识获取Y1,Y2,Y3 再执行limit Y,1.获取三个随机数 对应的sql语句如下 mysql> select

    7.3K20

    Python pandas获取网页中的表数据(网页抓取)

    从网站获取数据(网页抓取) HTML是每个网站背后的语言。当我们访问一个网站时,发生的事情如下: 1.在浏览器的地址栏中输入地址(URL),浏览器向目标网站的服务器发送请求。...Python pandas获取网页中的表数据(网页抓取) 类似地,下面的代码将在浏览器上绘制一个表,你可以尝试将其复制并粘贴到记事本中,然后将其保存为“表示例.html”文件...因此,使用pandas从网站获取数据的唯一要求是数据必须存储在表中,或者用HTML术语来讲,存储在…标记中。...pandas将能够使用我们刚才介绍的HTML标记提取表、标题和数据行。 如果试图使用pandas从不包含任何表(…标记)的网页中“提取数据”,将无法获取任何数据。...对于那些没有存储在表中的数据,我们需要其他方法来抓取网站。 网络抓取示例 我们前面的示例大多是带有几个数据点的小表,让我们使用稍微大一点的更多数据来处理。

    12K30

    如何正确的进行数据的分库分表

    如果数据多到一定程度,就需要分库分表来存储数据了,这个一定程度的判断也比较难,总体而言, 数据量上:MySQL数据库在500w-1000w的时候性能比较好,单张表达到2000W(如果服务器配置比较好的话...磁盘:如果一个数据库存储的数据比较多,一台服务器的磁盘就会成为瓶颈,这个时候,就需要考虑分库了 数据库链接:如果一个数据库实例的链接过多,很容易就达到服务的上限,这个时候就有必要进行分库分表,当然,也可以通过引入...Redis 缓存的形式,在前面挡一下,可以降低服务器的链接 分库分表大体有两种思路: 1.修改代码,让代码去链接对应的数据库查询对应的表。...常见分表、分库常用策略 平均进行分配hash(object)%N(适用于简单架构),这个方式可能会遇到如果某个用户的数据过多,就会造成数据倾斜的问题。  ...按照一致性hash算法进行分配(适用于集群架构,在集群中节点的添加和删除不会造成数据丢失,方便数据迁移)。

    2.6K20

    如何使用python计算给定SQLite表的行数?

    计算 SQLite 表中的行数是数据库管理中的常见任务。Python凭借其强大的库和对SQLite的支持,为此目的提供了无缝的工具。...要计算特定表中的行数,可以使用 SQL 中的 SELECT COUNT(*) 语句。...对查询的响应是一个元组,其中包含与表中的行数对应的单个成员。使用 result[0] 访问元组的第一个组件以获取行计数。...使用多个表 如果需要计算多个表中的行数,可以使用循环循环访问表名列表,并为每个表执行计数查询: table_names = ['table1', 'table2', 'table3'] for table_name...这允许您在不重复代码的情况下计算多个表中的行。 结论 使用 Python 计算 SQLite 表中的行数很简单。我们可以运行 SQL 查询并使用 sqlite3 模块或 pandas 库获取行数。

    2.9K20

    「开发日志」Navicat统计的行数竟然和表实际行数不一致?!

    背景 近期为了保障线上数据库的稳定性,我决定针对一些大表的历史数据有计划地进行备份迁移,但是呢,发现一个奇特的现象,Navicat统计行数和表自身count统计数竟然不一致!?...整个经过 这次大表迁移备份,我的整体思路是:首先用Navicat对库内所有的表按照行数降序排序,然后选取Top10进行迁移备份。...但是一如既往细心的我发现,它界面的统计行数竟然和我自己count这张表行数不一致?!难道要颠覆我对Navicat的认可嘛。...为了证实我的猜想,我查阅了官方文档及其他相关资料,果然,MySQL 在 information_schema.TABLES表中息存放了所有表的信息。...原来,TABLE_ROWS这个字段不同存储引擎的计数规则不一致,比如MyISAM引擎这表存储TABLE_ROWS存储的就是精确的行数,而对于其他的存储引擎,比如 InnoDB,这个值只是一个近似值,与实际值相差

    1.7K30

    获取Oracle表的分析时间

    上节讲到如何建立一个Oracle命令的界面,并显示数据库文件的创建时间,这节讲如何查看指定表的分析时间 我们在日常SQL优化的过程中,肯定要知道表的统计信息是否正确,而这个功能的话就能简化这个操作...首先获取到表单中的数据,如 ipaddress,tnsname以及执行的命令 2. 然后通过ipaddress,tnsname从oraclelist数据库中查找获得用户名密码用于连接 3....则从输入文本中获取想要查询的表名并连接起来 5. 然后执行函数获取分析时间,这里的getanalyzedtime函数获取Oracle表的分析时间,详情看具体代码 6....最后把页面的标题以及表格的数据放到dic变量中传到 oracle_command_result_5.html模板文件中 ---- getanalyzedtime函数 这里我们引用getanalyzedtime...函数来获取Oracle表的分析时间,具体看SQL语句 monitor/command/getoraclecommandresult.py def getanalyzedtime(cursor,table_name

    1.6K20
    领券