- 综合排序
- 最热优先
- 最新优先
- 来自专栏创作是最好的自我投资
一条SQL语句的执行历程
SQL执行历程在数据库管理系统中，每当你敲下一条SQL，按下执行键的时候，不管这条SQL是简单还是复杂，从按下执行键到返回数据结果展现出来这个过程都是一致的，每一步都有其存在的必要意义。 解析优化在正式执行 SQL 查询语句之前， MySQL 会先对 SQL 语句进行解析，解析包括词法解析，语法解析等，验证你执行的这条 SQL 可以被执行。 SQL执行那么经过解析优化之后，那么你的 SQL 就算进入执行状态了，接着就要进入执行 SQL 查询语句的流程了，每条SELECT 查询语句流程主要可以分为下面这三个阶段：预处理阶段、执行阶段，在这一阶段同样会执行优化 SQL 执行过程的剖析，整个过程包括一下SQL执行的全部历程信息在整个SQL 执行过程中，从你敲下SQL 点击【执行】命令的那一刻，SQL 的历程就开始了starting。 整个 SQL的执行过程可以通过执行过程中涉及到的命令做一个详细的分析，感兴趣的可以自己尝试看看 SQL 执行过程。
46720编辑于 2024-11-21 - 来自专栏大数据
hive执行引擎的发展历程
一、历史与现状Hive的执行引擎经历了几个重要阶段：MapReduce时代（早期默认）最初，Hive将SQL语句转换为MapReduce作业来执行这是Hive的经典执行方式，但MapReduce执行速度较慢 Spark时代（现代选择）从Hive 1.1.0版本开始，Hive正式支持Apache Spark作为执行引擎这确实意味着Hive可以将SQL查询转换为Spark作业来执行Spark基于内存计算，通常比 使用Spark（现代，性能最优）SET hive.execution.engine=spark;二、技术架构对比# Hive on Spark的工作流程HiveQL (SQL) → Hive Driver (解析SQL) → Hive 优化器 (逻辑优化) → 物理执行计划 → Spark 转换器 (将计划转为Spark的RDD/DataFrame操作) → Spark Job (在YARN上运行) → 结果返回Hive# Hive on MapReduce的工作流程HiveQL (SQL) → Hive Driver → 优化器 → MapReduce
28310编辑于 2025-12-11 - 来自专栏鸿的学习笔记
一条SQL生命历程
1.一条SQL的诞生首先需要通过某种方式传递给数据库。 数据库会有一个客户端用来与外界交流，而作为提交SQL的一方，可以通过ODBC或者是JDBC协议直接将SQL提交给数据库，除此以外，还可以通过Web服务等第三方服务将SQL提交给数据库。 2.数据库接受SQL语句后，会根据现有的情况预先计算相应的算力，决定是不是应该立即执行这条SQL以及是否有足够的资源执行完这句SQL。一般这个任务被称为“Process Manager”。 3.当这条SQL获得相应的算力后，SQL就会开始进行计算了，首先会调用语句处理器，检查调用者是否有足够权限执行这条SQL，接下来编译这条SQL文本成内部执行计划。 内部执行计划会包含各种“算子”，例如聚合，投影，选择以及join。 4.在执行计划中会存在很多算子，这时需要一个事务处理器帮忙决定数据的增删改查。
44340发布于 2018-08-06 - 来自专栏DBA随笔
一条SQL的心路历程
一条SQL的心路历程 今天在极客时间上学习丁奇大佬的《MySQL 45讲》的时候，看到了一条高质量的评论，结合我自己的理解，将它分享出来。 当我们在客户端执行一条SQL的时候，例如： update table set a=a+1 where id=1； 此时在MySQL内部到底发生了哪些事情？ 1.首先客户端通过TCP/IP协议发送一条update的SQL语句到Server层的SQL接口组件。该过程会经历连接的三次握手。 4.接下来是优化器器生成相应的执行计划，优化器会对比多个执行计划，最后选择最优的执行计划 5.之后会是执行器根据执行计划执行这条语句。 9.在innodb_buffer_pool的data page做update操作。并把操作的物理数据页修改记录到redo log buffer里。
63810发布于 2020-05-18 - 来自专栏捞月亮的小北
9. 动态SQL
Mybaits 框架的动态 SQL 技术是一种根据特定条件动态拼接 SQL 语句的功能 ， 它存在的意义是为了解决拼接 SQL 语句字符串时的痛点问题 Mybatis 中动态 SQL 怎么理解？ 1. if if 标签可通过test属性 的表达式进行判断 ， 若表达式的结果为 true ， 则标签中的内容会执行 ； 反之标签中的内容不会执行 if 中 test 属性判断的是实体类当中属性的值 执行时，会将集合中的元素遍历一遍，生成类似于 (1, 2, 3) 的 SQL 语句。 SQL 片段的作用是将常用的 SQL 语句封装成一个可重用的组件，方便在多个地方使用。 Mybatis 中的 SQL 片段有两种类型： 动态 SQL 片段：根据不同的条件生成不同的 SQL 语句。 减小 SQL 的维护难度：将一段 SQL 代码封装成 SQL 片段，可以方便维护和修改，避免了对 SQL 语句的重复修改和维护。
68610编辑于 2023-12-01 - 来自专栏SQL实现
SQL 的执行顺序
了解 SQL 的执行顺序非常有价值，它可以让我们写出语法正确的 SQL，帮助我们简化编写新查询的过程。 本文将在 MySQL 的基础上，介绍查询语句的执行顺序。 ： FROM / JOIN 和所有 ON 条件 WHERE GROUP BY HAVING SELECT ORDER BY LIMIT 以上是 SQL 标准定义的执行顺序。 比如下面这条 SQL ，看起来像是 SELECT 子句的别名被 GROUP BY 子句引用。 SELECT CONCAT(job, '|', deptno) AS job_dept, COUNT(*) FROM emp GROUP BY job_dept 那是不是说这条 SQL 破坏了前面定义的执行顺序呢 实际上并没有，MYSQL 会对这条 SQL 做重写，像这样： SELECT CONCAT(job, '|', deptno), COUNT(*) FROM emp GROUP BY CONCAT
3.4K31发布于 2020-07-18 - 来自专栏python3
python执行sql文件
最近遇到一对需要执行的sql文件，sql文件内是insert 语句。 但是实施人员给过来的sql文件，一张表的数据根据数据量硬生生生成了近10个文件。文件多了，若手动执行，很容易出现遗漏或者重复操作，造成错误。 由于文件内结构比较单一，故用脚本实现。 代码如下： def execute_sql(conn, cur, path=r"D:\个人"): """执行指定目录下的.sql文件""" os.chdir(path) for count = 1 # 当读取完毕文件，不到2000行时，也需对拼接的sql 执行、提交 if sql: cur.execute(sql) conn.commit() 以上execute_sql函数，会默认执行入参path路径下，所有文件名包含“.sql”文件。
3.7K20发布于 2020-01-08 - 来自专栏算法channel
SQL|语句执行逻辑
01 SQL SQL，脚本查询语言，处理代码的顺序不是按照脚本语言的顺序，这点是不同于其他编程语言的最明显特征。 SQL语言常见的比如，Mysql，HiveQL，Oracle等，虽然语法上存在一些差异，但它们在解释查询脚本上，尤其是在解析语句执行顺序上具有共性。 如果将脚本语言分解为一系列的语句，那么这些语句的先后执行顺序是怎样的呢？ 这篇文章，主要总结SQL语句的执行顺序。 (5) GROUP BY (6) WITH {CUBE | ROLLUP} (7) HAVING (8)SELECT (9) DISTINCT (10) ORDER BY (11) LIMIT DISTINCT：将重复的行从VT8中删除，得到VT9。 ORDER BY：将VT9中的行按ORDER BY子句中的列列表顺序，生成一个游标(VC10)。
4K80发布于 2018-04-02 - 来自专栏python3
Python执行hive sql
该python脚本是用于执行hive脚本的，需要设置hive的可执行环境变量，其实质转化为shell下命令 hive -e 'sql语句’ 的方式执行，然后把结果重定向到控制台显示。 注：由于该脚本是直接调用shell中的hive命令，所以需要在安装hive的服务器上执行。 使用前置条件：（1）安装hadoop和hive，并启动完hadoop；（2）已配置好hive的环境变量，确保在shell中能正常执行hive。 #! /usr/bin/python #-*-coding:utf-8 -*- import subprocess import traceback sql = """ # 书写hql脚本 ; """ cmd = 'hive -e """'+sql.replace('"', "\'")+'"""' print cmd try: p = subprocess.Popen(cmd, shell=True
4.6K10发布于 2020-01-07 - 来自专栏不想当开发的产品不是好测试
java 执行sql文件
# 背景 用例执行完毕，期望回滚数据，因此希望执行sql来回滚数据 # 步骤 直接show代码，借助的是mybatis的ScriptRunner /** * 执行xx库下的表备份脚本 runner.setAutoCommit(true); String fileName = String.format("src/main/resources/db/%s.sql File file = new File(fileName); try { if (file.getName().endsWith(".sql
3.1K80发布于 2018-04-10 - 来自专栏用户画像
linux 执行.sql文件
在MySQL下执行： source /home/jiangxingqi/DB/hello world.sql
6.7K00发布于 2018-08-24 9个SQL优化技巧
大多数的接口性能问题，很多情况下都是SQL问题，在工作中，我们也会定期对慢SQL进行优化，以提高接口性能。这里总结一下常见的优化方向和策略。 检查执行计划，是否走索引检查where和order by字段是否有索引，根据表的数据量和现有索引，考虑是否增加索引或者联合索引。 避免使用左模糊查询在工作中，对于姓名、手机号、名称等内容，经常会遇到模糊查询的场景，但是要尽量避免左模糊，这种SQL无法使用索引。 为了优化这个查询，我们可以考虑以下几种方法： 索引优化： 确保在 customer_id 字段上创建索引，以加速 GROUP BY 和 WHERE 子句的执行。 我们日常使用较多的分页一般是用的PageHelper插件，SQL如下：sql复制代码select id,name from table_name where N个条件 limit 100000,10;它的执行流程
1.7K10编辑于 2024-05-21- 来自专栏小工匠聊架构
MySQL- SQL执行计划 & 统计SQL执行每阶段的耗时
---- 某些SQL查询为什么慢 要弄清楚这个问题，需要知道MySQL处理SQL请求的过程， 我们来看下 MySQL处理SQL请求的过程 客户端将SQL请求发送给服务器 服务器检查是否在缓存中是否命中该 SQL，未命中的话进入下一步 服务器进行SQL解析、预处理，再由优化器生成对应的执行计划 根据执行计划来，调用存储引擎API来查询数据 将结果返回给客户端 ---- 查询缓存对SQL性能的影响 query_cache_type 预处理及生成执行计划 接着上一步说，查询缓存未启用，或者 未命中查询缓存 ， 服务器进行SQL解析、预处理，再由优化器生成对应的执行计划 。 MySQL会依赖这个执行计划和存储引擎进行交互 . 包括以下过程 语法解析： 包含语法等解析校验 预处理 : 检查语法是否合法等 执行计划： 上面都通过了，会生成执行计划。 ---- 造成MySQL生成错误的执行计划的原因 存储引擎提供的统计信息不准确 执行计划中的估算不等同于实际的执行计划的成本 MySQL不考虑并发的查询 MySQL有时候会基于一些特定的规则来生成执行计划
3.8K20发布于 2021-08-17 - 来自专栏蒙奇D索隆的学习笔记
计算机小白的成长历程——分支与循环（9）
大家好，很高兴又和大家见面了。经过前面两个篇章的习题演练，我相信大家的编码能力都是有所提升的，今天我们将来编写咱们的第一个游戏——猜数字游戏。本篇章内容涉及知识点会比较多，建议大家反复观看，确保自己能够完全消化这些内容。
66820编辑于 2023-10-13 - 来自专栏IT码农
Yii2 SqlDataProvider 原生sql 执行sql
=:status ', [':status' => 1])->queryScalar(); $dataProvider = new SqlDataProvider([ 'sql
1.4K31发布于 2019-09-29 - 来自专栏全栈程序员必看
python每天定时9点执行_python定时执行方法
，用schedule.enter加入要执行的函数，里面的第一个参数是延迟执行的时间，用sched.scheduler进行初始化 1512033155.9311035 now is 1512033157.9316308 is 1512033159.9316351 | output= test1 1512033155.9311035 1512033159.9316351 [Finished in 4.2s] 上面是执行结果 ，缺点是任务队列是阻塞型，即schedule里的任务不执行完，后面的主线程就不会执行 3 用threading里的timer,实现非阻塞型，即主线程要任务同时执行 import time from threading now is 1512034296.9461012 enter_the_box_time is 1512034286.9452875 [Finished in 10.2s] 可看出任务和主线程是同步执行 ，但是后3位又稍有不同，应该是python的多线程并非真正的多线程导致 每天某个时间定时执行任务： import datetime import time def doSth(): print(‘test
3.5K20编辑于 2022-09-09 - 来自专栏技术赋能学术
Sql Server 查询正在执行的sql信息
sys.dm_exec_requests er INNER JOIN sys.sysprocesses sp ON er.session_id = sp.spid CROSS APPLY sys.dm_exec_sql_text (er.sql_handle) AS qt WHERE session_Id > 50 /* Ignore system spids.*/ AND session_Id NOT IN (@@SPID
5.4K30发布于 2021-01-08 - 来自专栏PHP在线
SQL语句执行过程详解
一条sql，plsql的执行到底是怎样执行的呢？ 一、SQL语句执行原理： 第一步:客户端把语句发给服务器端执行 当我们在客户端执行 select 语句时,客户端会把这条 SQL 语句发送给服务器端,让服务器端的 进程来处理这语句。 当服务器进程的优化器确定这条查询语句的最佳执行计划后,就会将这条 SQL 语句与执行计划保存到数据高速缓存(library cache)。 第三步:语句执行 语句解析只是对 SQL 语句的语法进行解析,以确保服务器能够知道这条语句到底表达的是什么意思。等到语句解析完成之后,数据库服务器进程才会真正的执行这条 SQL 语句。 9.为事务建立回滚段 在完成本事务所有相关的 redo log buffer 之后,服务器进程开始改写这个 db buffer的块头部事务列表并写入 scn,然后 copy 包含这个块的头部事务列表及
4.7K60发布于 2018-03-08 - 来自专栏skyyws的技术专栏
使用HUE执行多条SQL
但是，当我们使用HUE提交SQL的时候，默认是只会执行最后一条SQL的。 因此，当我们执行如下的SQL的时候，就会报错： 会提示表不存在（图中的错误是Impala查询系统抛出的日志），因为HUE默认只会执行最后一条SQL。那么，如果我们要执行多条SQL怎么办呢？ 很简单，只要选中对话框中的所有SQL，然后点击运行就可以顺序执行所有的SQL，如下所示： image.png 我们可以看到，3条SQL都被成功执行了，在“运行”按钮的上方可以看到显示的是3/3，表示执行进度 但是，如果SQL结尾处没有显示地增加分号结尾，那么即使全选之后再执行，HUE也会将三个SQL当成一条SQL来执行，而不是按照换行符进行分割，如下所示： 从图中我们可以看到，最终提交的SQL为：create 值得注意的是，这些批量执行的SQL，都是在同一个session内完成的。也就是说，如果在第一条SQL中设置了session级别的参数，会影响后面执行的SQL。
2.8K40编辑于 2022-05-20 - 来自专栏IT技术订阅
SQL语句执行过程详解
3、分析器 4、优化器 5、执行器 Server层 存储引擎（InnoDB）层 三个日志的比较（undo、redo、bin） 执行过程 Where 条件的提取 SQL执行顺序 写操作 读操作 文章正文： 写操作执行过程 如果这条sql是写操作(insert、update、delete)，那么大致的过程如下，其中引擎层是属于 InnoDB 存储引擎的，因为InnoDB 是默认的存储引擎，也是主流的， ,mysql会计算各个执行方法的最佳时间,最终确定一条执行的sql交给最后的执行器。 5、执行器 执行器会调用对应的存储引擎执行 sql。主流的是MyISAM 和 Innodb。 SQL执行顺序 最后需要注意的是 SQL 语句关键词的解析执行顺序：
3K30编辑于 2022-05-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号