首页
学习
活动
专区
圈层
工具
发布

大数据量分页查询,SQL语句怎么优化?

当需要从数据库查询的表有上万条记录的时候,一次性查询所有结果会变得很慢,特别是随着数据量的增加特别明显,这时需要使用分页查询。对于数据库分页查询,也有很多种方法和优化的点。...数据量:5709294 MySQL版本:5.7.16 线下找一张百万级的测试表可不容易,如果需要自己测试的话,可以写shell脚本什么的插入数据进行测试。...ms 8323 ms 8401 ms 一般分页查询 一般的分页查询使用简单的 limit 子句就可以实现。...* 速度增加了3倍 比较第2条语句和第3条语句:速度相差几十毫秒 比较第3条语句和第4条语句:得益于 select id 速度增加,第3条语句查询速度增加了3倍 这种方式相较于原始一般的查询方法,将会增快数倍...= 'pen') limit 100; 这种 in 查询的方式要注意:某些 mysql 版本不支持在 in 子句中使用 limit。

3.7K41
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySql基础架构(sql查询语句在MySql内部具体是怎么执行的?)

    提出问题: 对于一个做后台不久的我,起初做项目只是实现了功能,所谓的增删改查,和基本查询索引的建立。直到有一个面试官问我一个问题,一条sql查询语句在mysql数据库中具体是怎么执行的?...于是开始了深入学习mysql。本篇文章通过 一条sql查询语句在mysql数据库中具体是怎么执行的? 来具体讲解mysql的基础架构。...这些资源会在连接断开的时候才释放。所以如果长连接累积下来,可能导致内存占用太大,被系统强行杀掉(OOM),从现象看就是 MySQL 异常重启了。怎么解决这个问题呢?你可以考虑以下两种方案。...如何设置Mysql不使用查询缓存 将Mysql参数query_cache_type设置成DEMAND,这样默认的SQL语句都不使用查询缓存 如何对某一条查询语句指定使用查询缓存 确定使用查询缓存的语句,...ounter(line 执行器 MySQL 通过分析器知道了你要做什么,通过优化器知道了该怎么做(执行方案是什么?),于是就进入了执行器阶段,开始执行语句。

    6.7K20

    MySQL【三】---数据库查询详细教程{分页、连接查询、自关联、子查询、数据库设计规范}

    1.分页 limit start count limit限制查询出来的数据个数,limit在语句最后 查找两个女性 select * from student where gender=1 limit...select * from student order by age asc limit 5,2; 2.连接查询【多表使用】 多个表里合并数据时使用,目前创建了两个表【见相关文章2】 链接查询:inner...primary key, -> cid int, -> atitle varchar(20), -> pid int); show tables;  直接输入cmd 在此启动mysql...4.1标量子查询; 查询最高的男生信息 select * from students where height=(select max(height) from students); 子查询即先执行子语句得到结论...,再把这个结论当作条件再执行主语句; 对于:上面河北省自关联可以采用子查询解决: select* from areas where pid = (select aid from areas where

    2.4K20

    经典笔试题-JDBC及Hibernate篇

    , FROM Person_Tbl"; ps = con.prepareStatement(sql); //step 4 :执行查询语句...【基础】 答:Java 中访问数据库的步骤如下: 1)注册驱动; 2)建立连接; 3)创建Statement; 4)执行sql 语句; 5)处理结果集(若sql 语句为查询语句); 6)关闭连接...PreparedStatement 被创建时即指定了SQL 语句,通常用于执行多次结构相同的SQL 语句。 119、用你熟悉的语言写一个连接ORACLE 数据库的程序,能够完成修改和查询工作。...:根据不同的数据库采用不同的sql 分页语句 例如: Oracle 中的sql 语句为: “SELECT * FROM (SELECT a.*, rownum r FROM TB_STUDENT)...WHERE r between 2 and 10” 查询从记录号2 到记录号10 之间的所有记录 121、在ORACLE 大数据量下的分页解决方法。

    87620

    使用JDBC连接MySQL数据库--典型案例分析(八)----实现员工数据的分页查询

    转载请注明:http://blog.csdn.net/uniquewonderq 问题: 使用JDBC连接Mysql数据库,实现对Emp表数据的分页查询功能。...方案: 对于较大的数据量,通常采用分页查询的方式。不同的数据库产品有不同的数据库级的分页查询策略。例如:Oracle通常使用rownum的方式;而Mysql使用limit的方式。...Oracle采用rownum和子查询实现分页查询,SQL语句如下, select * from (select rownum rn,empno,ename,job,mgr,hiredate,sal,comm...实现上述功能的MySQL数据库的SQL语句如下: select * from emp order by empno limit 5,5; MYSQL中使用limit关键字实现分页查询。...步骤:添加方法findByPageMySQL方法,实现连接Mysql数据库,实现对Emp表中数据的分页查询,代码如下所示: package dao; import java.sql.Connection

    1.6K10

    Mybatis高级查询(三):分页查询

    Mybatis高级查询(三) 分页查询 问题:一次性查询10条数据如何实现?...sql:select * from tableName limit 10; 问题:查询第6条到第10条的数据怎么实现呢 sql:select * from tableName limit 5,10(注意首个是从...0开始的) 如果一页的数据很少,这当然用不上分页,那如果数据成千上万都在一页加载的话会极大的拖慢运行速度和机器资源,导致大量的时间和资源都用在了查询上,这种情况就需要使用到分页,设定一页有多少数据,就只加载这一些数据...> .在OrdersMapper接口中添加查询用户信息方法 //分页查询方法 public List queryUser(); 添加AutoController类 @Controller...可以实现分页的处理 在执行MappedStatement之前PageHelper会动态的修改Sql语句,在sql语句中添加limit语句,以实现分页效果,类似于增强AOP; 把sql语句:select

    2K20

    jsp-------------之分页技术(一)

    jsp分页技术之:          如下图:百度的喵    看上图中卡哇伊的小苗的爪子下面的数字,就是分页啦!那我们如何做出这样一个效果呢?...下面我们来逐一分解:       jsp分页技术一 :  (算法) 1 /* 2 int pageSize // 每一页显示多少条记录 3 int pageNow // 希望显示第几页...额, 可能有jsp大家,会拿着砖块拍本渣的头,说,你丫的,需要这么复杂吗? 数据库中不是提供了这样的语句查询吗?  ... 如果有MYsql数据库的话,  用这样的语句:  select  * from user  limit  start , num ;      然后你会发现,每一页都只有两行,因为编号为3的数据缺失啦...下面这个方法(为了简化,写一个纯jsp文件):      代码:   1 2 <%@page import

    2.6K60

    JavaWeb之分页的实现——基于Mysql(通用)

    那么现在来一起看看他的思路以及代码还有效果图吧 基于MySql数据库的通用分页    通用分页核心思路:将上一次查询请求再发一次,只不过页码变了    实现步骤:    1)先查询全部数据     ...   后台查出来  pagination  是否分页    视图层传递过来 getStartIndex()        基于MySql数据库分页,获取分页开始标记    ---------...("/bookList.jsp").forward(req, resp); } } //通过分页方法(既支持分页,也可以不支持分页)通用方法 package com.zking.pagination.dao...* -----> * 将普通的SQL语句转换成查询分页结果集的SQL语句 * @param sql 普通的SQL * @param pageBean 分页对象(包含当前页码和每页条数,...+" limit "+pageBean.getStartIndex()+","+pageBean.getRows(); } }  //连接Mysql的代码: package com.zking.pagination.util

    2.2K30

    系统学习javaweb-08-学习速查案例02

    名称:酒店订餐系统 目的:常见的javaweb的一些写法总结 说明:未使用javaweb框架,数据使用mysql,根目录下有sql脚本,用户名密码写在c3p0配置文件中 【知识点】 1 连接池...c3p0的配置及操作 工具类JdbcUtils中实现常用操作 c3p0配置中,创建连接时指定数据库发送sql语句采用的编码 jdbc:mysql:///hotel?...[CDATA[jdbc:mysql://localhost:3306/hotel?...则调用父类中方法 注意,父类中首先实例化的service对象用protected修饰,private修饰需要对得到的参数method设置method.setAccessible(true); 7 分页...bean与查询条件封装类Condition的实现 查询条件封装类Condition再次封装在PageBean中作为参数,在FoodServlet中封装参数,传递给FoodDao实现查询 8 sql语句的组装

    69830

    Web简历信息管理系统

    2.简历信息管理模块 (1)显示所有的简历列表 我们这里要利用mysql数据库的limit关键字和count(*)这个聚集函数,用limit去限制查询的开始位置和查询的记录总数,用count去作为查询的总记录数...而期末大作业是要做一个能将所有简历收集起来的系统,当时我JSP的视频还没开始看,不懂得怎么将JSP、servlet、html这些联系起来。...跟着别人的就发现不同的人写的区别很大,虽然目的相同,有的甚至在JDBC连接上都不一样,每次看懂别人的,再去写一个符合自己系统使用的。...管理员端因为是对所有用户简历信息的管理,在这里要实现对用户简历信息的分页查询和多选删除,它可以查看到用户的详细简历信息,我这里的难点是分页查询。...分页查询中要首先计算出查询的起始位置,通过总页数记录取余操作来判断当前页码,查询中的结果保存到list集合中。

    3.2K20

    JAVA笔试题(全解)

    执行完后再从过滤器链退出 40.Jsp中如何进行分页,项目中如何进行分页?...③翻页的SQL语句的处理MYSQL处理翻页的SQL语句比较简单,用LIMIT开始位置,记录个数;ORACLE处理翻页的SQL语句就比较繁琐了。...此时,我们可以通过2种方式: 一,子查询的分页方式来提高分页效率,飘易用的SQL语句如下: SELECT * FROM `content` WHERE id (SELECT id FROM `content...查询结果不要用*来查询所有字段,要明确指明结果字段 4. 减少多表连接数,尽量少的表进行连接 5. 表连接时,尽量用主键进行连接或用唯一索引 6. 表的查询多时,一定建立索引 7....对于复杂查询和修改,Hiberante提供了Query对象进行支持,它可以使用HQL语句处理查询、修改、删除和分页。如果需要处理针对数据库相关的SQL,可以SQLQuery对象处理。 4.

    3.5K52

    纳税服务系统六(信息发布管理模块)【Ueditor、异步信息交互、抽取BaseService、条件查询、分页】

    导入前端的JSP页面 弄完之后,简单的增删改查我们已经实现了。。 这里写图片描述 接下来就是处理一些不是常用增删改查的东西了。 创建人与创建时间 我们在添加的时候怎么写呢???...,但是如果我们的查询条件是中文的话,会怎么样??...", "%" + info.getTitle() + "%"); } } 分页 分页对我们来说也不是陌生的事情了,我曾经在写JDBC博文的时候就讲解过分页了:http://blog.csdn.net...queryHelper中添加一个查询总记录数的sql语句 /** * * @return 返回查询总记录数的sql语句 */ public String getTotalRecordSql...页面遍历的是分页对象,导入我们的分页下标下表JSP jsp:include page="/

    2.4K60

    毕业设计答辩慌?不怕!软工本科 Java EE 毕设项目答辩问题、答案汇总指南!

    文章目录 前言 一、关于数据库的问题 1.1、为什么采用 MySQL 数据库? 1.2、系统数据是如何跟数据库进行交互? 1.3、JDBC 连接数据库所需四要素?...获取数据库连接。 创建 Statement 类型或者子类型对象。 执行 SQL。 处理结果(如果需要的话,一般查询语句必须要处理)。 关闭资源。...说明:查询内容包含通配符时,由于通配符的缘故,导致查询特殊字符“%”、“_”、“[”的语句无法正常实现,把特殊字符用“[]”括起来便可以正常查询。 7.5、分页查询是如何实现的?...MySQL 中实现分页查询,在数据量较小的情况下可使用 limit 查询来实现分页查询,在数据量大的情况下使用建立主键或唯一索引来实现,另外可通过 order by 对其排序。...分页需求:客户端通过传递 start(页码),limit(每页显示的条数)两个参数去分页查询数据库表中的数据,MySql数据库提供分页的函数有 limit m,n,但是该函数的用法和我们的需求不一样,所以就需要根据实际情况去改写适合自己的分页语句

    5.3K50
    领券