- 综合排序
- 最热优先
- 最新优先
- 来自专栏创作是最好的自我投资
一条SQL语句的执行历程
SQL执行历程在数据库管理系统中，每当你敲下一条SQL，按下执行键的时候，不管这条SQL是简单还是复杂，从按下执行键到返回数据结果展现出来这个过程都是一致的，每一步都有其存在的必要意义。 解析优化在正式执行 SQL 查询语句之前， MySQL 会先对 SQL 语句进行解析，解析包括词法解析，语法解析等，验证你执行的这条 SQL 可以被执行。 SQL执行那么经过解析优化之后，那么你的 SQL 就算进入执行状态了，接着就要进入执行 SQL 查询语句的流程了，每条SELECT 查询语句流程主要可以分为下面这三个阶段：预处理阶段、执行阶段，在这一阶段同样会执行优化 SQL 执行过程的剖析，整个过程包括一下SQL执行的全部历程信息在整个SQL 执行过程中，从你敲下SQL 点击【执行】命令的那一刻，SQL 的历程就开始了starting。 整个 SQL的执行过程可以通过执行过程中涉及到的命令做一个详细的分析，感兴趣的可以自己尝试看看 SQL 执行过程。
46720编辑于 2024-11-21 - 来自专栏大数据
hive执行引擎的发展历程
一、历史与现状Hive的执行引擎经历了几个重要阶段：MapReduce时代（早期默认）最初，Hive将SQL语句转换为MapReduce作业来执行这是Hive的经典执行方式，但MapReduce执行速度较慢 Spark时代（现代选择）从Hive 1.1.0版本开始，Hive正式支持Apache Spark作为执行引擎这确实意味着Hive可以将SQL查询转换为Spark作业来执行Spark基于内存计算，通常比 使用Tez（性能较好）SET hive.execution.engine=tez;-- 3. (解析SQL) → Hive 优化器 (逻辑优化) → 物理执行计划 → Spark 转换器 (将计划转为Spark的RDD/DataFrame操作) → Spark Job (在YARN上运行) → 结果返回Hive# Hive on MapReduce的工作流程HiveQL (SQL) → Hive Driver → 优化器 → MapReduce
28310编辑于 2025-12-11 - 来自专栏鸿的学习笔记
一条SQL生命历程
1.一条SQL的诞生首先需要通过某种方式传递给数据库。 数据库会有一个客户端用来与外界交流，而作为提交SQL的一方，可以通过ODBC或者是JDBC协议直接将SQL提交给数据库，除此以外，还可以通过Web服务等第三方服务将SQL提交给数据库。 2.数据库接受SQL语句后，会根据现有的情况预先计算相应的算力，决定是不是应该立即执行这条SQL以及是否有足够的资源执行完这句SQL。一般这个任务被称为“Process Manager”。 3.当这条SQL获得相应的算力后，SQL就会开始进行计算了，首先会调用语句处理器，检查调用者是否有足够权限执行这条SQL，接下来编译这条SQL文本成内部执行计划。 内部执行计划会包含各种“算子”，例如聚合，投影，选择以及join。 4.在执行计划中会存在很多算子，这时需要一个事务处理器帮忙决定数据的增删改查。
44340发布于 2018-08-06 - 来自专栏ShanSan的云原生之路
博客搭建历程（3）
把你的网站ico放在public\img即可 修改theme\_config.yml
37120发布于 2020-07-07 - 来自专栏wayn的程序开发
线上sql执行慢，分享3个优化案例
前段时间，博主线上项目的几个后端接口执行耗时达到了三、四秒钟以上，查看接口代码，发现 sql 语句执行过慢，于是开始分析 sql 执行 这里把比较经典的优化案例分享给大家。 1.3秒左右，这是在我本地模拟的数据，线上用户在百万级别，耗时已经达到2、3秒，于是博主开始上 explain，分析 sql 执行： 由于 explain 结果中 key 列为空，明显可知虽然 possible_keys 本质上就是在一条 sql 里执行了多个 update 语句。 这个写法虽然不是在代码 for 循环中执行，但是这条 sql 语句执行时，MySql 任然是单条单条执行的。 「update + case」执行结果： 可以看出我们更新了3条记录，耗时50毫秒，更新记录越多时，优化效果也就明显。
1.7K21编辑于 2023-03-19 - 来自专栏DBA随笔
一条SQL的心路历程
一条SQL的心路历程 今天在极客时间上学习丁奇大佬的《MySQL 45讲》的时候，看到了一条高质量的评论，结合我自己的理解，将它分享出来。 当我们在客户端执行一条SQL的时候，例如： update table set a=a+1 where id=1； 此时在MySQL内部到底发生了哪些事情？ 1.首先客户端通过TCP/IP协议发送一条update的SQL语句到Server层的SQL接口组件。该过程会经历连接的三次握手。 3.验证通过以后，分析器会对该语句分析,是否语法有错误等，分析过程分为词法分析和语法分析，词法分析包含select关键字解析、字段列名解析等，语义分析则告诉用户输入的语句是否有语法错误。 4.接下来是优化器器生成相应的执行计划，优化器会对比多个执行计划，最后选择最优的执行计划 5.之后会是执行器根据执行计划执行这条语句。
63810发布于 2020-05-18 - 来自专栏SQL实现
SQL 的执行顺序
了解 SQL 的执行顺序非常有价值，它可以让我们写出语法正确的 SQL，帮助我们简化编写新查询的过程。 本文将在 MySQL 的基础上，介绍查询语句的执行顺序。 ： FROM / JOIN 和所有 ON 条件 WHERE GROUP BY HAVING SELECT ORDER BY LIMIT 以上是 SQL 标准定义的执行顺序。 ”SELECT deptno, COUNT(*) AS cnt FROM emp WHERE COUNT(*) > 0GROUP BY deptno 3. 比如下面这条 SQL ，看起来像是 SELECT 子句的别名被 GROUP BY 子句引用。 SELECT CONCAT(job, '|', deptno) AS job_dept, COUNT(*) FROM emp GROUP BY job_dept 那是不是说这条 SQL 破坏了前面定义的执行顺序呢
3.4K31发布于 2020-07-18 - 来自专栏python3
python执行sql文件
最近遇到一对需要执行的sql文件，sql文件内是insert 语句。 但是实施人员给过来的sql文件，一张表的数据根据数据量硬生生生成了近10个文件。文件多了，若手动执行，很容易出现遗漏或者重复操作，造成错误。 由于文件内结构比较单一，故用脚本实现。 代码如下： def execute_sql(conn, cur, path=r"D:\个人"): """执行指定目录下的.sql文件""" os.chdir(path) for count = 1 # 当读取完毕文件，不到2000行时，也需对拼接的sql 执行、提交 if sql: cur.execute(sql) conn.commit() 以上execute_sql函数，会默认执行入参path路径下，所有文件名包含“.sql”文件。
3.7K20发布于 2020-01-08 - 来自专栏算法channel
SQL|语句执行逻辑
01 SQL SQL，脚本查询语言，处理代码的顺序不是按照脚本语言的顺序，这点是不同于其他编程语言的最明显特征。 SQL语言常见的比如，Mysql，HiveQL，Oracle等，虽然语法上存在一些差异，但它们在解释查询脚本上，尤其是在解析语句执行顺序上具有共性。 如果将脚本语言分解为一系列的语句，那么这些语句的先后执行顺序是怎样的呢？ 这篇文章，主要总结SQL语句的执行顺序。 02 Select语句执行顺序 select查询语句的执行顺序，可以看出首先执行FROM子句，最后执行ORDER BY 执行顺序： (1) FROM (2) ON (3) JOIN (4) WHERE WHERE：对VT3应用WHERE筛选器，只有使为true的行才插入VT4。 GROUP BY：按GROUP BY子句中的列对VT4中的行进行分组，生成VT5。
4K80发布于 2018-04-02 - 来自专栏python3
Python执行hive sql
该python脚本是用于执行hive脚本的，需要设置hive的可执行环境变量，其实质转化为shell下命令 hive -e 'sql语句’ 的方式执行，然后把结果重定向到控制台显示。 注：由于该脚本是直接调用shell中的hive命令，所以需要在安装hive的服务器上执行。 使用前置条件：（1）安装hadoop和hive，并启动完hadoop；（2）已配置好hive的环境变量，确保在shell中能正常执行hive。 #! /usr/bin/python #-*-coding:utf-8 -*- import subprocess import traceback sql = """ # 书写hql脚本 ; """ cmd = 'hive -e """'+sql.replace('"', "\'")+'"""' print cmd try: p = subprocess.Popen(cmd, shell=True
4.6K10发布于 2020-01-07 - 来自专栏不想当开发的产品不是好测试
java 执行sql文件
# 背景 用例执行完毕，期望回滚数据，因此希望执行sql来回滚数据 # 步骤 直接show代码，借助的是mybatis的ScriptRunner /** * 执行xx库下的表备份脚本 runner.setAutoCommit(true); String fileName = String.format("src/main/resources/db/%s.sql File file = new File(fileName); try { if (file.getName().endsWith(".sql
3.1K80发布于 2018-04-10 - 来自专栏用户画像
linux 执行.sql文件
在MySQL下执行： source /home/jiangxingqi/DB/hello world.sql
6.7K00发布于 2018-08-24 - 来自专栏白安全组
ecshop 2.x3.x sql注入任意代码执行漏洞
前言： 该漏洞影响ECShop 2.x和3.x版本，是一个典型的“二次漏洞”，通过user.php文件中display()函数的模板变量可控，从而造成SQL注入漏洞，而后又通过SQL注入漏洞将恶意代码注入到危险函数 eval中，从而实现了任意代码执行。 ECShop 3.x的攻击。 x: \n"; echo "{$hash3}ads|{$s}{$hash3}"; ? grid; ECSCP_ID=8c4d85f5cf208b861f6f085853dbbacb3603b6f4 Upgrade-Insecure-Requests: 1 点击send发送 我们看到代码执行后
1.9K20编辑于 2022-12-01 - 来自专栏小工匠聊架构
MySQL- SQL执行计划 & 统计SQL执行每阶段的耗时
---- 某些SQL查询为什么慢 要弄清楚这个问题，需要知道MySQL处理SQL请求的过程， 我们来看下 MySQL处理SQL请求的过程 客户端将SQL请求发送给服务器 服务器检查是否在缓存中是否命中该 SQL，未命中的话进入下一步 服务器进行SQL解析、预处理，再由优化器生成对应的执行计划 根据执行计划来，调用存储引擎API来查询数据 将结果返回给客户端 ---- 查询缓存对SQL性能的影响 query_cache_type 预处理及生成执行计划 接着上一步说，查询缓存未启用，或者 未命中查询缓存 ， 服务器进行SQL解析、预处理，再由优化器生成对应的执行计划 。 MySQL会依赖这个执行计划和存储引擎进行交互 . 包括以下过程 语法解析： 包含语法等解析校验 预处理 : 检查语法是否合法等 执行计划： 上面都通过了，会生成执行计划。 ---- 造成MySQL生成错误的执行计划的原因 存储引擎提供的统计信息不准确 执行计划中的估算不等同于实际的执行计划的成本 MySQL不考虑并发的查询 MySQL有时候会基于一些特定的规则来生成执行计划
3.8K20发布于 2021-08-17 - 来自专栏IT码农
Yii2 SqlDataProvider 原生sql 执行sql
=:status ', [':status' => 1])->queryScalar(); $dataProvider = new SqlDataProvider([ 'sql
1.4K31发布于 2019-09-29 - 来自专栏技术赋能学术
Sql Server 查询正在执行的sql信息
sys.dm_exec_requests er INNER JOIN sys.sysprocesses sp ON er.session_id = sp.spid CROSS APPLY sys.dm_exec_sql_text (er.sql_handle) AS qt WHERE session_Id > 50 /* Ignore system spids.*/ AND session_Id NOT IN (@@SPID
5.4K30发布于 2021-01-08 - 来自专栏PHP在线
SQL语句执行过程详解
一条sql，plsql的执行到底是怎样执行的呢？ 一、SQL语句执行原理： 第一步:客户端把语句发给服务器端执行 当我们在客户端执行 select 语句时,客户端会把这条 SQL 语句发送给服务器端,让服务器端的 进程来处理这语句。 3. 语言含义检查(data dict cache)。若 SQL 语句符合语法上的定义的话,则服务器进程接下去会对语句中的字段、表等内容进行检查。看看这些字段、表是否在数据库中。 第三步:语句执行 语句解析只是对 SQL 语句的语法进行解析,以确保服务器能够知道这条语句到底表达的是什么意思。等到语句解析完成之后,数据库服务器进程才会真正的执行这条 SQL 语句。 3.服务器进程把这个 sql 语句的字符转化为 ASCII 等效数字码,接着这个 ASCII 码被传递给一个HASH 函数,并返回一个 hash 值,然后服务器进程将到shared pool 中的 library
4.7K60发布于 2018-03-08 - 来自专栏skyyws的技术专栏
使用HUE执行多条SQL
但是，当我们使用HUE提交SQL的时候，默认是只会执行最后一条SQL的。 因此，当我们执行如下的SQL的时候，就会报错： 会提示表不存在（图中的错误是Impala查询系统抛出的日志），因为HUE默认只会执行最后一条SQL。那么，如果我们要执行多条SQL怎么办呢？ 很简单，只要选中对话框中的所有SQL，然后点击运行就可以顺序执行所有的SQL，如下所示： image.png 我们可以看到，3条SQL都被成功执行了，在“运行”按钮的上方可以看到显示的是3/3，表示执行进度 但是，如果SQL结尾处没有显示地增加分号结尾，那么即使全选之后再执行，HUE也会将三个SQL当成一条SQL来执行，而不是按照换行符进行分割，如下所示： 从图中我们可以看到，最终提交的SQL为：create 值得注意的是，这些批量执行的SQL，都是在同一个session内完成的。也就是说，如果在第一条SQL中设置了session级别的参数，会影响后面执行的SQL。
2.8K40编辑于 2022-05-20 - 来自专栏IT技术订阅
SQL语句执行过程详解
3、分析器 4、优化器 5、执行器 Server层 存储引擎（InnoDB）层 三个日志的比较（undo、redo、bin） 执行过程 Where 条件的提取 SQL执行顺序 写操作 读操作 文章正文： 3、分析器 对客户端传来的 sql 进行分析，这将包括预处理与解析过程，并进行关键词的提取、解析，并组成一个解析树。 ,mysql会计算各个执行方法的最佳时间,最终确定一条执行的sql交给最后的执行器。 5、执行器 执行器会调用对应的存储引擎执行 sql。主流的是MyISAM 和 Innodb。 SQL执行顺序 最后需要注意的是 SQL 语句关键词的解析执行顺序：
3K30编辑于 2022-05-11 - 来自专栏数据库系列
Oracle sql语句执行顺序
sql语法的分析是从右到左 一、sql语句的执行步骤： 1）词法分析，词法分析阶段是编译过程的第一个阶段。 这个功能大大地提高了SQL的执行性能并节省了内存的使用。 四、SQL Select语句完整的执行顺序： 1、from子句组装来自不同数据源的数据； 2、where子句基于指定的条件对记录行进行筛选； 3、group by子句将数据划分为多个分组； 4、使用聚集函数进行计算 如果FROM子句包含两个以上的表，则对上一个联接生成的结果表和下一个表重复执行步骤1到步骤3，直到处理完所有的表位置。 3.释放shared pool latch,重新获得library cache latch,将SQL执行计划放入library cache中。
1.7K10编辑于 2025-04-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号