首页
学习
活动
专区
圈层
工具
发布

MySQL中流式查询使用

一、前言 MySQL 是目前使用比较广泛的关系型数据库,而从数据库里面根据条件查询数据到内存的情况想必大家在日常项目实践中都有使用。...,但是每次查询时候数据库都需要把所有符合条件的数据查询出来然后根据当前页的返回来返回指定的页,这无疑加重了 MySQL 服务器不必要的开销。...其实在 MySQL 中提供了流式查询,这允许把符合条件的数据一部分一部分的加载到内存,本 Chat 就来具体讲解如何在 MySQL中使用流式查询: 使用流式查询前,我们是如何在 MySQL 中进行查询数据的...如何使用 JDBC 编程方式在 MySQL 中使用流式查询? 二、普通查询 image.png 当我们在JVM进程里面的某一个线程里面执行数据库查询时候,其实这个请求首先会调用mysql驱动程序。...三、JDBC编程中MySQL流式查询 mysql客户端流式查询不会一下子把服务器端所有数据缓存起来,而是一部分一部分的把服务器端返回的数据返回给应用程序层,所以可以有效避免OOM。

2.3K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Mysql 游标

    [mysql游标的用法及作用] 例子: 当前有三张表A、B、C其中A和B是一对多关系,B和C是一对多关系,现在需要将B中A表的主键存到C中; 常规思路就是将B中查询出来然后通过一个update语句来更新...游标的作用就是用于对查询数据库所返回的记录进行遍历,以便进行相应的操作。...【用法】 ​ 一、声明一个游标: declare 游标名称 CURSOR for table;(这里的table可以是你查询出来的任意集合) ​ 二、打开定义的游标:open 游标名称; ​...游标名称; 注:mysql存储过程每一句后面必须用;结尾,使用的临时字段需要在定义游标之前进行声明。...total+c; end loop; 在MySql中,造成游标溢出时会引发mysql预定义的NOT FOUND错误,所以在上面使用下面的代码指定了当引发not found错误时定义一个continue

    4.8K70

    MySQL游标

    游标相当于一个指针,这个指针指向select的第一行数据,可以通过移动指针来遍历后面的数据。 3、属性 在mysql中,游标可以在存储过程、函数、触发器和事件中使用。...游标有以下三个属性: Asensitive: 数据库也可以选择不复制结果集 Read only: 不可更新,只读 Nonscrollable: 游标只能向一个方向前进,并且不可以跳过任何一行数据。...声明游标:创建一个游标,并指定这个游标需要遍历的select查询,声明游标时并不会去执行这个sql。 打开游标:打开游标的时候,会执行游标对应的select语句。...declare 游标名称 cursor for 查询语句; # 打开游标 open 游标名称; # 遍历游标 # 取出当前行的结果,将结果放在对应的变量中,并将游标指针指向下一行的数据。...# 当调用fetch的时候,会获取当前行的数据,如果当前行无数据,会引发mysql内部的 NOT FOUND错误 fetch 游标名称 into 变量列表; # 关闭游标 # 游标使用完毕之后一定要关闭

    4K10

    MySQL数据库,详解游标使用(一)

    需求背景 当我们需要对⼀个select的查询结果进⾏遍历处理的时候,如何实现呢? 此时我们需要使⽤游标,通过游标的⽅式来遍历select查询的结果集,然后对每⾏数据进⾏处理。...游标的作⽤ 如sql: select a,b from test1; 上⾯这个查询返回了test1中的数据,如果我们想对这些数据进⾏遍历处理,此时我们就 可以使⽤游标来进⾏操作。...游标的使⽤步骤 声明游标:这个过程只是创建了⼀个游标,需要指定这个游标需要遍历的select查询,声 明游标时并不会去执⾏这个sql。 打开游标:打开游标的时候,会执⾏游标对应的select语句。...游标语法 声明游标 DECLARE 游标名称 CURSOR FOR 查询语句; ⼀个begin end中只能声明⼀个游标。...当调⽤fetch的时候,会获取当前⾏的数据,如果当前⾏⽆数据,会引发mysql内 部的NOT FOUND错误。 关闭游标 close 游标名称; 游标使⽤完毕之后⼀定要关闭。

    2.4K10

    大数据量查询容易OOM?试试MySQL流式查询

    一、前言 程序访问 MySQL 数据库时,当查询出来的数据量特别大时,数据库驱动把加载到的数据全部加载到内存里,就有可能会导致内存溢出(OOM)。...其实在 MySQL 数据库中提供了流式查询,允许把符合条件的数据分批一部分一部分地加载到内存中,可以有效避免OOM;本文主要介绍如何使用流式查询并对比普通查询进行性能测试。...() 可以实现流式查询,在执行 ResultSet.next() 方法时,会通过数据库连接一条一条的返回,这样也不会大量占用客户端的内存。...条) 小数据量流式查询(10条) 3.1....查询耗时 10 条数据量用时 1 秒 ? 四、总结 MySQL 流式查询对于内存占用方面的优化还是比较明显的,但是对于查询速度的影响较小,主要用于解决大数据量查询时的内存占用多的场景。

    3K20

    ​【数据库】MySQL进阶三、游标简易教程

    【数据库】MySQL进阶三、游标简易教程 mysql游标简易教程 从mysql V5.5开始,进行了一次大的改变,就是将InnoDB作为默认的存储引擎。...现在简单总结一下游标的知识。 (一)认识游标(cursor) 游标简单来说就是查询出来的数据索引,通过对游标的操作(第一个位置、最后一个位置、上一个位置、下一个位置)可以遍历出数据。...使用游标(cursor)的一个主要的原因就是把集合操作转换成单个记录处理方式。用SQL语言从数据库中检索数据后,结果放在内存的一块区域中,且结果往往是一个含有多个记录的集合。...游标机制允许用户在SQL server内逐行地访问这些记录,按照用户自己的意愿来显示和处理这些记录。 在数据库中,游标是一个十分重要的概念。...由此可见,游标允许应用程序对查询语句select 返回的行结果集中每一行进行相同或不同的操作,而不是一次对整个结果集进行同一种操作;它还提供对基于游标位置而对表中数据进行删除或更新的能力;而且,正是游标把作为面向集合的数据库管理系统和面向行的程序设计两者联系起来

    2.3K70

    MySQL高级篇-游标

    游标让 SQL 这种面向集合的语言有了面向过程开发的能力。   在 SQL 中,游标是一种临时的数据库对象,可以指向存储在数据库表中的数据行指针。...这里游标充当了指针的作用 ,我们可以通过操作游标来对数据行进行操作。   MySQL中游标可以在存储过程和函数中使用。...打开游标的时候 SELECT 语句的查询结果集就会送到游标工作区,为后面游标的逐条读取结果集中的记录做准备. open cur_score; 2.3 使用游标 语法如下: FETCH cursor_name...FETCH cur_score INTO stu_id, grade ; 注意:游标的查询结果集中的字段数,必须跟 INTO 后面的变量数一致,否则,在存储过程执行的时候,MySQL 会提示错误。...关闭游标之后,我们就不能再检索查询结果中的数据行,如果需要检索只能再次打开游标。

    4.5K50

    mysql存储过程----游标

    定义: 游标是用来存储查询结果集的数据类型,在存储过程和存储函数中可以使用游标对结果集进行循环处理,游标的使用包括游标声明、open、fetch和close,语法如下: 语法: 声明光标...: DECLARE 游标名称 CURSOR FOR 封装select语句; 开启游标(open): OPEN 游标名称; 获取游标中的数据(fetch) FETCH 游标名称 INTO var_name...关闭游标(close): close 游标名称; 示例: BEGIN -- 声明保存数据的变量 DECLARE class_id int(10); DECLARE class_name...VARCHAR(10); -- 声明一个名字为 cursor_result 游标 -- 游标值为class_info表中数据 DECLARE cursor_result CURSOR FOR...class_id,class_name; -- 查看结果 SELECT CONCAT('class_id=',class_id,'class_name=',class_name); -- 关闭游标

    4.1K20

    游标--数据库

    1,大家都知道数据库中的事物可以回滚,而游标在其中起着非常重要的作用,由于对数据库的操作我们会暂时放在游标中,只要不提交,我们就可以根据游标中内容进行回滚,在一定意义有利于数据库的安全。                 ...五,游标简单认识了,我们来看看游标的具体使用:            1,先看一下简单的使用游标四步骤: 步骤 关键词 说明 1 在DECLARE中cursor 声明游标,创建一个命名的查询语句 2...Open 打开游标 3 Fetch 取出游标中的一条记录装入变量 4 Close 释放游标           2,当然游标中可以存放一条数据,也可以存放多条数据,后者是我们用游标,前者我们通过PL.../SQL语句即可完成的,这样我们在这里就必须用到循环结构了,在Oracle数据库中我们可以使用while…… loop……end loop , for…… loop……end loop,loop……end...3,最后在这里再学习一下带参数的游标,也是就和我们但参数的类是一样的,只不过一个用在了数据库中,一个用在了编程语言中。 [sql] view plaincopyprint?

    1.5K30

    强大:MyBatis 流式查询

    基本概念 流式查询指的是查询成功后不是返回一个集合而是返回一个迭代器,应用每次从迭代器取一条查询结果。流式查询的好处是能够降低内存使用。...如果没有流式查询,我们想要从数据库取 1000 万条记录而又没有足够的内存时,就不得不分页查询,而分页查询效率取决于表设计,如果设计的不好,就无法执行高效的分页查询。...因此流式查询是一个数据库访问框架必须具备的功能。...流式查询的过程当中,数据库连接是保持打开状态的,因此要注意的是:执行一个流式查询后,数据库访问框架就不负责关闭数据库连接了,需要应用在取完数据后自己关闭。...),2 处执行数据库事务,而数据库事务的内容则是调用 Mapper 对象的流式查询。

    1.3K20

    mysql存储过程之游标

    MySQL5 中添加了存储过程的支持。  大多数SQL语句都是针对一个或多个表的单条语句。并非所有的操作都怎么简单。...经常会有一个完整的操作需要多条才能完成  存储过程简单来说,就是为以后的使用而保存的一条或多条MySQL语句的集合。可将其视为批文件。虽然他们的作用不仅限于批处理。...许多数据库管理员限制存储过程的创建,允许用户使用存储过程,但不允许创建存储过程  存储过程是非常有用的,应该尽可能的使用它们 存储过程使用对我这种菜鸡来说还是有些难度的,没系统学过,看了同事写的之后,...大概看得懂,但是看到cursor游标之后有些懵,特此总结与一下 使用游标 MySQL5添加了对游标的支持  只能用于存储过程  直接上一个已经完善的存储过程,用于对表数据的copy DELIMITER...关于MySQL 5使用的 MySQL错误代码列表,请参阅 http://dev.mysql.com/doc/mysql/en/error-handling.html 。

    3.9K40

    MySQL学习14_游标

    游标是一个存在DBMS服务器上的数据库查询,它不仅是一条SELECT语句,而是被该语句检索出来的结果集。在存储了游标之后,应用程序可以根据V需要滚动或者浏览其中的数据。...游标一旦关闭,如果不再次打开,将无法使用;第二次使用的时候,不需要声明,直接open即可 close Custcursor ---- Python操作游标 连接数据库 使用的是pymysql模块,需要先进行导入...import pymysql host:主机名或者IP地址 port:默认是3306 user:用户名 passwd:user账户登录mysql的密码 db:创建的数据库 charset:防止中文出错...Python就是通过连接对象和数据库进行对话。...,执行SQL语句 close():关闭连接 游标对象cur的操作方法 名称 描述 close 关闭游标 execute 执行一条SQL语句,可以带上参数; 执行之后需要conn.commit(),数据库中才会真正建立

    3.1K10
    领券