- 综合排序
- 最热优先
- 最新优先
- 来自专栏创作是最好的自我投资
一条SQL语句的执行历程
SQL执行历程在数据库管理系统中，每当你敲下一条SQL，按下执行键的时候，不管这条SQL是简单还是复杂，从按下执行键到返回数据结果展现出来这个过程都是一致的，每一步都有其存在的必要意义。 解析优化在正式执行 SQL 查询语句之前， MySQL 会先对 SQL 语句进行解析，解析包括词法解析，语法解析等，验证你执行的这条 SQL 可以被执行。 SQL执行那么经过解析优化之后，那么你的 SQL 就算进入执行状态了，接着就要进入执行 SQL 查询语句的流程了，每条SELECT 查询语句流程主要可以分为下面这三个阶段：预处理阶段、执行阶段，在这一阶段同样会执行优化 SQL 执行过程的剖析，整个过程包括一下SQL执行的全部历程信息在整个SQL 执行过程中，从你敲下SQL 点击【执行】命令的那一刻，SQL 的历程就开始了starting。 整个 SQL的执行过程可以通过执行过程中涉及到的命令做一个详细的分析，感兴趣的可以自己尝试看看 SQL 执行过程。
46720编辑于 2024-11-21 - 来自专栏大数据
hive执行引擎的发展历程
一、历史与现状Hive的执行引擎经历了几个重要阶段：MapReduce时代（早期默认）最初，Hive将SQL语句转换为MapReduce作业来执行这是Hive的经典执行方式，但MapReduce执行速度较慢 Spark时代（现代选择）从Hive 1.1.0版本开始，Hive正式支持Apache Spark作为执行引擎这确实意味着Hive可以将SQL查询转换为Spark作业来执行Spark基于内存计算，通常比 MapReduce快10-100倍当前的多引擎支持现在Hive支持多种执行引擎，您可以根据需求选择：-- 在Hive中设置执行引擎-- 1. (解析SQL) → Hive 优化器 (逻辑优化) → 物理执行计划 → Spark 转换器 (将计划转为Spark的RDD/DataFrame操作) → Spark Job (在YARN上运行) → 结果返回Hive# Hive on MapReduce的工作流程HiveQL (SQL) → Hive Driver → 优化器 → MapReduce
28310编辑于 2025-12-11 - 来自专栏DotNet 致知
EF Core 3.1 入门视频-10 执行原生SQL
http://mpvideo.qpic.cn/0bf2qmbh6aacleaoeg3mgvpvfa6dp6bqe7ya.f10002.mp4?dis_k=361051a3b4994e09e862108
72620编辑于 2022-03-29 - 来自专栏鸿的学习笔记
一条SQL生命历程
1.一条SQL的诞生首先需要通过某种方式传递给数据库。 数据库会有一个客户端用来与外界交流，而作为提交SQL的一方，可以通过ODBC或者是JDBC协议直接将SQL提交给数据库，除此以外，还可以通过Web服务等第三方服务将SQL提交给数据库。 2.数据库接受SQL语句后，会根据现有的情况预先计算相应的算力，决定是不是应该立即执行这条SQL以及是否有足够的资源执行完这句SQL。一般这个任务被称为“Process Manager”。 3.当这条SQL获得相应的算力后，SQL就会开始进行计算了，首先会调用语句处理器，检查调用者是否有足够权限执行这条SQL，接下来编译这条SQL文本成内部执行计划。 内部执行计划会包含各种“算子”，例如聚合，投影，选择以及join。 4.在执行计划中会存在很多算子，这时需要一个事务处理器帮忙决定数据的增删改查。
44440发布于 2018-08-06 - 来自专栏DBA随笔
一条SQL的心路历程
一条SQL的心路历程 今天在极客时间上学习丁奇大佬的《MySQL 45讲》的时候，看到了一条高质量的评论，结合我自己的理解，将它分享出来。 当我们在客户端执行一条SQL的时候，例如： update table set a=a+1 where id=1； 此时在MySQL内部到底发生了哪些事情？ 1.首先客户端通过TCP/IP协议发送一条update的SQL语句到Server层的SQL接口组件。该过程会经历连接的三次握手。 4.接下来是优化器器生成相应的执行计划，优化器会对比多个执行计划，最后选择最优的执行计划 5.之后会是执行器根据执行计划执行这条语句。 因为group commit的原因，这次事务所产生的redo log buffer可能会跟随其它事务一同flush并且sync到磁盘上 10.同时修改的信息，会按照event的格式,记录到binlog_cache
63810发布于 2020-05-18 - 来自专栏Python数据科学
用Python执行SQL、Excel常见任务？10个方法全搞定！
我们将要重命名某些列，在 Excel 中，可以通过单击列名称并键入新名称，在SQL中，你可以执行 ALTER TABLE 语句或使用 SQL Server 中的 sp_rename。 在 SQL 中，这是通过混合使用 SELECT 和不同的其他函数实现的，而在 Excel 中，可以通过拖放数据和执行过滤器来实现。 你可以使用 Pandas 库不同的方法或查询快速过滤。 SQL 和 Excel 都具有将查询转换为图表和图形的功能。使用 seaborn 和 matplotlib 库，你可以使用 Python 执行相同操作。 10 分组和连接数据 在 Excel 和 SQL 中，诸如 JOIN 方法和数据透视表之类的强大工具可以快速汇总数据。 看看你是否可以在刚刚启动的 Python notebook 中执行此操作。如果你可以弄清楚，你将会很好地将 SQL 或 Excel 知识转移到 Python 中。
11.9K20发布于 2019-07-19 - 来自专栏从ORACLE起航，领略精彩的IT技术。
SQL Tuning 基础概述10 - 体会索引的常见执行计划
在《SQL Tuning 基础概述05 - Oracle 索引类型及介绍》的1.5小节，提到了几种"索引的常见执行计划"： INDEX FULL SCAN：索引的全扫描，单块读，有序 INDEX RANGE MAX)：针对MAX(),MIN()函数的查询 INDEX SKIP SCAN：查询条件没有用到组合索引的第一列，而组合索引的第一列重复度较高时，可能用到 本文用简单的测试案例，体会下索引使用这些执行计划的场景 语句 根据不同执行计划的场景，编写SQL语句： --INDEX RANGE SCAN（索引的范围扫描） SELECT owner, object_name FROM test_objects WHERE *Net to client 519 bytes received via SQL*Net from client 2 SQL*Net roundtrips to *Net to client 519 bytes received via SQL*Net from client 2 SQL*Net roundtrips to
56110发布于 2019-05-24 - 来自专栏SQL实现
SQL 的执行顺序
了解 SQL 的执行顺序非常有价值，它可以让我们写出语法正确的 SQL，帮助我们简化编写新查询的过程。 本文将在 MySQL 的基础上，介绍查询语句的执行顺序。 ： FROM / JOIN 和所有 ON 条件 WHERE GROUP BY HAVING SELECT ORDER BY LIMIT 以上是 SQL 标准定义的执行顺序。 比如下面这条 SQL ，看起来像是 SELECT 子句的别名被 GROUP BY 子句引用。 SELECT CONCAT(job, '|', deptno) AS job_dept, COUNT(*) FROM emp GROUP BY job_dept 那是不是说这条 SQL 破坏了前面定义的执行顺序呢 实际上并没有，MYSQL 会对这条 SQL 做重写，像这样： SELECT CONCAT(job, '|', deptno), COUNT(*) FROM emp GROUP BY CONCAT
3.4K31发布于 2020-07-18 - 来自专栏python3
python执行sql文件
最近遇到一对需要执行的sql文件，sql文件内是insert 语句。 但是实施人员给过来的sql文件，一张表的数据根据数据量硬生生生成了近10个文件。文件多了，若手动执行，很容易出现遗漏或者重复操作，造成错误。 由于文件内结构比较单一，故用脚本实现。 代码如下： def execute_sql(conn, cur, path=r"D:\个人"): """执行指定目录下的.sql文件""" os.chdir(path) for count = 1 # 当读取完毕文件，不到2000行时，也需对拼接的sql 执行、提交 if sql: cur.execute(sql) conn.commit() 以上execute_sql函数，会默认执行入参path路径下，所有文件名包含“.sql”文件。
3.7K20发布于 2020-01-08 - 来自专栏算法channel
SQL|语句执行逻辑
01 SQL SQL，脚本查询语言，处理代码的顺序不是按照脚本语言的顺序，这点是不同于其他编程语言的最明显特征。 SQL语言常见的比如，Mysql，HiveQL，Oracle等，虽然语法上存在一些差异，但它们在解释查询脚本上，尤其是在解析语句执行顺序上具有共性。 如果将脚本语言分解为一系列的语句，那么这些语句的先后执行顺序是怎样的呢？ 这篇文章，主要总结SQL语句的执行顺序。 (5) GROUP BY (6) WITH {CUBE | ROLLUP} (7) HAVING (8)SELECT (9) DISTINCT (10) ORDER BY (11) LIMIT ORDER BY：将VT9中的行按ORDER BY子句中的列列表顺序，生成一个游标(VC10)。 LIMIT(TOP)：从VC10的开始处选择指定数量或比例的行，生成表VT11，并返回给调用者。
4K80发布于 2018-04-02 - 来自专栏python3
Python执行hive sql
该python脚本是用于执行hive脚本的，需要设置hive的可执行环境变量，其实质转化为shell下命令 hive -e 'sql语句’ 的方式执行，然后把结果重定向到控制台显示。 注：由于该脚本是直接调用shell中的hive命令，所以需要在安装hive的服务器上执行。 使用前置条件：（1）安装hadoop和hive，并启动完hadoop；（2）已配置好hive的环境变量，确保在shell中能正常执行hive。 #! = 'hive -e """'+sql.replace('"', "\'")+'"""' print cmd try: p = subprocess.Popen(cmd, shell=True where order_dt = '2016-01-26' limit 10; """ cmd = 'hive -e """'+sql.replace('"', "\'")+'"""' print cmd
4.6K10发布于 2020-01-07 - 来自专栏不想当开发的产品不是好测试
java 执行sql文件
# 背景 用例执行完毕，期望回滚数据，因此希望执行sql来回滚数据 # 步骤 直接show代码，借助的是mybatis的ScriptRunner /** * 执行xx库下的表备份脚本 runner.setAutoCommit(true); String fileName = String.format("src/main/resources/db/%s.sql File file = new File(fileName); try { if (file.getName().endsWith(".sql
3.1K80发布于 2018-04-10 - 来自专栏用户画像
linux 执行.sql文件
在MySQL下执行： source /home/jiangxingqi/DB/hello world.sql
6.7K00发布于 2018-08-24 - 来自专栏小工匠聊架构
MySQL- SQL执行计划 & 统计SQL执行每阶段的耗时
---- 某些SQL查询为什么慢 要弄清楚这个问题，需要知道MySQL处理SQL请求的过程， 我们来看下 MySQL处理SQL请求的过程 客户端将SQL请求发送给服务器 服务器检查是否在缓存中是否命中该 SQL，未命中的话进入下一步 服务器进行SQL解析、预处理，再由优化器生成对应的执行计划 根据执行计划来，调用存储引擎API来查询数据 将结果返回给客户端 ---- 查询缓存对SQL性能的影响 query_cache_type 预处理及生成执行计划 接着上一步说，查询缓存未启用，或者 未命中查询缓存 ， 服务器进行SQL解析、预处理，再由优化器生成对应的执行计划 。 0 mysql> update setup_consumers set enabled = 'YES' where name like 'events%'; # Step2 Query OK, 10 rows affected (0.31 sec) Rows matched: 12 Changed: 10 Warnings: 0 mysql> select * from artisan.t_order
3.8K20发布于 2021-08-17 - 来自专栏IT码农
Yii2 SqlDataProvider 原生sql 执行sql
=:status ', [':status' => 1])->queryScalar(); $dataProvider = new SqlDataProvider([ 'sql
1.4K31发布于 2019-09-29 - 来自专栏技术赋能学术
Sql Server 查询正在执行的sql信息
sys.dm_exec_requests er INNER JOIN sys.sysprocesses sp ON er.session_id = sp.spid CROSS APPLY sys.dm_exec_sql_text (er.sql_handle) AS qt WHERE session_Id > 50 /* Ignore system spids.*/ AND session_Id NOT IN (@@SPID
5.4K30发布于 2021-01-08 - 来自专栏一个爱吃西瓜的程序员
学习SQL【10】-SQL高级处理
所谓高级处理，从用户的角度来讲，就是那些对数值进行排序，计算销售总额等我们熟悉的处理；从SQL的角度来讲，就是近几年才添加的新功能，这些新功能使得SQL的工作范围不断得到扩展。 窗口函数就是为了实现OLAP而添加的标准SQL功能。 product_type, sale_price, RANK () OVER (ORDER BY sale_price) AS ranking FROM Product; 执行结果 为了避免混淆，SQL提供了一个用来判断超级分组记录的NULL的特定函数—GROUPING函数。 SQL的基础语法知识大致就是这些，如果你稍微会一点SQL，看到这些代码应该很好理解的。如果你没有编程基础，可能这些代码对于你来说过于难以理解。写的很粗糙，勉强可以用来温习SQL的语法。
2.2K50发布于 2018-04-04 - 来自专栏PHP在线
SQL语句执行过程详解
一条sql，plsql的执行到底是怎样执行的呢？ 一、SQL语句执行原理： 第一步:客户端把语句发给服务器端执行 当我们在客户端执行 select 语句时,客户端会把这条 SQL 语句发送给服务器端,让服务器端的 进程来处理这语句。 当服务器进程的优化器确定这条查询语句的最佳执行计划后,就会将这条 SQL 语句与执行计划保存到数据高速缓存(library cache)。 第三步:语句执行 语句解析只是对 SQL 语句的语法进行解析,以确保服务器能够知道这条语句到底表达的是什么意思。等到语句解析完成之后,数据库服务器进程才会真正的执行这条 SQL 语句。 10.本事务修改数据块 准备工作都已经做好了,现在可以改写 db buffer 块的数据内容了,并在块的头部写入回滚段的地址。
4.7K60发布于 2018-03-08 - 来自专栏全栈程序员必看
MyBatis 执行动态 SQL
配置 SQL 肯定要执行，用上面讲的这种方式肯定可以执行 SQL，如何提供参数呢？参数就是enabled = #{enabled}中的#{enabled}部分。 这里提供一个简单的思路，在 SQL 中使用模板标记语言来实现动态SQL（例如freemarker)，在 SQL 交给 MyBatis 执行之前，使用模板对 SQL 进行处理生成最终执行的 SQL（需要避免处理 #{}参数），将这个SQL交给 MyBatis 执行。 map); //将处理后的sql放到map中 map.put("sql", sql); //执行方法 List<Map> list = xxMapper.executeSql(map); 注：processSqlByFreemarker MappedStatement 后，复制一份，然后修改 resultMaps中resultMap的type属性为你指定的class类型就能实现，说起来容易，实际操作起来能有 PageHelper 分页插件 1/10
2.3K30编辑于 2022-09-09 - 来自专栏全栈程序员必看
使用PreparedStatement执行sql语句
表示一个参数的占位符 //3.执行预编译sql语句（检查语法） preStmt = conn.prepareStatement(sql); /** * 4.设置参数 * 参数1：参数位置 从1 表示一个参数的占位符 //3.执行预编译sql语句（检查语法） preStmt = conn.prepareStatement(sql); /** * 4.设置参数 * 参数1：参数位置 从1 表示一个参数的占位符 //3.执行预编译sql语句（检查语法） preStmt = conn.prepareStatement(sql); /** * 4.设置参数 * 参数1：参数位置 从1 = JdbcUtil.getConnection(); //2.准备预编译的sql语句 String sql = "select * from employee"; //3.执行预编译sql语句 （检查语法） preStmt = conn.prepareStatement(sql); //4.无参数，则直接执行sql rs = preStmt.executeQuery(); while(
2.3K20编辑于 2022-09-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号