- 综合排序
- 最热优先
- 最新优先
- 来自专栏创作是最好的自我投资
一条SQL语句的执行历程
SQL执行历程在数据库管理系统中，每当你敲下一条SQL，按下执行键的时候，不管这条SQL是简单还是复杂，从按下执行键到返回数据结果展现出来这个过程都是一致的，每一步都有其存在的必要意义。 解析优化在正式执行 SQL 查询语句之前， MySQL 会先对 SQL 语句进行解析，解析包括词法解析，语法解析等，验证你执行的这条 SQL 可以被执行。 SQL执行那么经过解析优化之后，那么你的 SQL 就算进入执行状态了，接着就要进入执行 SQL 查询语句的流程了，每条SELECT 查询语句流程主要可以分为下面这三个阶段：预处理阶段、执行阶段，在这一阶段同样会执行优化 SQL 执行过程的剖析，整个过程包括一下SQL执行的全部历程信息在整个SQL 执行过程中，从你敲下SQL 点击【执行】命令的那一刻，SQL 的历程就开始了starting。 整个 SQL的执行过程可以通过执行过程中涉及到的命令做一个详细的分析，感兴趣的可以自己尝试看看 SQL 执行过程。
46720编辑于 2024-11-21 - 来自专栏大数据
hive执行引擎的发展历程
一、历史与现状Hive的执行引擎经历了几个重要阶段：MapReduce时代（早期默认）最初，Hive将SQL语句转换为MapReduce作业来执行这是Hive的经典执行方式，但MapReduce执行速度较慢 Spark时代（现代选择）从Hive 1.1.0版本开始，Hive正式支持Apache Spark作为执行引擎这确实意味着Hive可以将SQL查询转换为Spark作业来执行Spark基于内存计算，通常比 使用Spark（现代，性能最优）SET hive.execution.engine=spark;二、技术架构对比# Hive on Spark的工作流程HiveQL (SQL) → Hive Driver (解析SQL) → Hive 优化器 (逻辑优化) → 物理执行计划 → Spark 转换器 (将计划转为Spark的RDD/DataFrame操作) → Spark Job (在YARN上运行) → 结果返回Hive# Hive on MapReduce的工作流程HiveQL (SQL) → Hive Driver → 优化器 → MapReduce
28310编辑于 2025-12-11 - 来自专栏鸿的学习笔记
一条SQL生命历程
数据库会有一个客户端用来与外界交流，而作为提交SQL的一方，可以通过ODBC或者是JDBC协议直接将SQL提交给数据库，除此以外，还可以通过Web服务等第三方服务将SQL提交给数据库。 2.数据库接受SQL语句后，会根据现有的情况预先计算相应的算力，决定是不是应该立即执行这条SQL以及是否有足够的资源执行完这句SQL。一般这个任务被称为“Process Manager”。 3.当这条SQL获得相应的算力后，SQL就会开始进行计算了，首先会调用语句处理器，检查调用者是否有足够权限执行这条SQL，接下来编译这条SQL文本成内部执行计划。 内部执行计划会包含各种“算子”，例如聚合，投影，选择以及join。 4.在执行计划中会存在很多算子，这时需要一个事务处理器帮忙决定数据的增删改查。 5.此时的SQL已经获得了数据并且开始相应的计算，返回相应的结果给调用者。
44340发布于 2018-08-06 - 来自专栏HarmonyOS知识集合
【HarmonyOS 5】鸿蒙发展历程
【HarmonyOS 5】鸿蒙发展历程一、鸿蒙 HarmonyOS 版本年代记鸿蒙 1.0：2019 年 8 月 9 日，华为在开发者大会上正式发布鸿蒙 1.0 系统，这一版本首次应用于华为荣耀智慧屏产品中 鸿蒙PC将在2025年5月发布。二、华为创建鸿蒙的由来早在 2012 年，全球智能设备产业正处于高速发展期，移动互联网浪潮席卷而来，智能手机、智能电视等设备快速普及。 到了 2019 年 5 月 14 日，华为鸿蒙商标获得注册公告，专用权限期从 2019 年 5 月 14 日至 2029 年 5 月 13 日，这为鸿蒙系统的商业化推广与应用提供了品牌保障，也正式拉开了鸿蒙系统在智能终端市场上的探索与发展序幕 依托华为在 5G、芯片、物联网等领域的深厚积累，鸿蒙有望主导中国市场的智能家居和车联网标准，巩固万物互联入口地位。开发者生态也将迎来爆发式增长。 凭借微内核架构、TEE 可信执行环境等技术，其隐私与安全方面的优势将成为吸引企业级市场和高端消费用户的关键因素。
2K10编辑于 2025-06-29 - 来自专栏DBA随笔
一条SQL的心路历程
一条SQL的心路历程 今天在极客时间上学习丁奇大佬的《MySQL 45讲》的时候，看到了一条高质量的评论，结合我自己的理解，将它分享出来。 当我们在客户端执行一条SQL的时候，例如： update table set a=a+1 where id=1； 此时在MySQL内部到底发生了哪些事情？ 1.首先客户端通过TCP/IP协议发送一条update的SQL语句到Server层的SQL接口组件。该过程会经历连接的三次握手。 2.SQL 接口组件接到该请求后，先对该条语句进行解析，验证权限是否匹配，此处验证的是用户账号的权限。 4.接下来是优化器器生成相应的执行计划，优化器会对比多个执行计划，最后选择最优的执行计划 5.之后会是执行器根据执行计划执行这条语句。
63810发布于 2020-05-18 - 来自专栏HTML5学堂
HTML5发展历程
HTML5发展历程 HTML5学堂：HTML5应该说是一个新名词了，由最初的网页设计与制作，发展到WEB前端开发工程师，又演变出HTML5的“新名词”。那么HTML5到底是什么时候出现苗头的？ 而今的HTML5又发展如何了呢？故事在继续~~~ 2008年，HTML5发布首个版本。 2010年 1 月，YOUTUBE 推出 HTML5 播放器。 2010年 5 月，Scribd 文档转化成 HTML5。 2010年 8 月，Arcade Fire 拍摄了 HTML5 技术的交互式电影。 2011年，约 20% 的研发商使用 HTML5 技术做为应用开发。 2012年 4 月，Flickr 引入 HTML5 图片上传工具。 2014年，微信平台的飞速发展推动了HTML5的发展。 2015年，HTML5、WEB前端就业需求量飞速猛增，翻倍式的增长，明确的告诉我们“HTML5”真的来了~！
1.4K60发布于 2018-03-12 - 来自专栏SQL实现
SQL 的执行顺序
了解 SQL 的执行顺序非常有价值，它可以让我们写出语法正确的 SQL，帮助我们简化编写新查询的过程。 本文将在 MySQL 的基础上，介绍查询语句的执行顺序。 ： FROM / JOIN 和所有 ON 条件 WHERE GROUP BY HAVING SELECT ORDER BY LIMIT 以上是 SQL 标准定义的执行顺序。 比如下面这条 SQL ，看起来像是 SELECT 子句的别名被 GROUP BY 子句引用。 SELECT CONCAT(job, '|', deptno) AS job_dept, COUNT(*) FROM emp GROUP BY job_dept 那是不是说这条 SQL 破坏了前面定义的执行顺序呢 实际上并没有，MYSQL 会对这条 SQL 做重写，像这样： SELECT CONCAT(job, '|', deptno), COUNT(*) FROM emp GROUP BY CONCAT
3.4K31发布于 2020-07-18 - 来自专栏python3
python执行sql文件
最近遇到一对需要执行的sql文件，sql文件内是insert 语句。 但是实施人员给过来的sql文件，一张表的数据根据数据量硬生生生成了近10个文件。文件多了，若手动执行，很容易出现遗漏或者重复操作，造成错误。 由于文件内结构比较单一，故用脚本实现。 代码如下： def execute_sql(conn, cur, path=r"D:\个人"): """执行指定目录下的.sql文件""" os.chdir(path) for count = 1 # 当读取完毕文件，不到2000行时，也需对拼接的sql 执行、提交 if sql: cur.execute(sql) conn.commit() 以上execute_sql函数，会默认执行入参path路径下，所有文件名包含“.sql”文件。
3.7K20发布于 2020-01-08 - 来自专栏算法channel
SQL|语句执行逻辑
01 SQL SQL，脚本查询语言，处理代码的顺序不是按照脚本语言的顺序，这点是不同于其他编程语言的最明显特征。 SQL语言常见的比如，Mysql，HiveQL，Oracle等，虽然语法上存在一些差异，但它们在解释查询脚本上，尤其是在解析语句执行顺序上具有共性。 如果将脚本语言分解为一系列的语句，那么这些语句的先后执行顺序是怎样的呢？ 这篇文章，主要总结SQL语句的执行顺序。 (5) GROUP BY (6) WITH {CUBE | ROLLUP} (7) HAVING (8)SELECT (9) DISTINCT (10) ORDER BY (11) LIMIT GROUP BY：按GROUP BY子句中的列对VT4中的行进行分组，生成VT5。 CUTE|ROLLUP：把超组插入VT5，生成VT6。
4K80发布于 2018-04-02 - 来自专栏python3
Python执行hive sql
该python脚本是用于执行hive脚本的，需要设置hive的可执行环境变量，其实质转化为shell下命令 hive -e 'sql语句’ 的方式执行，然后把结果重定向到控制台显示。 注：由于该脚本是直接调用shell中的hive命令，所以需要在安装hive的服务器上执行。 使用前置条件：（1）安装hadoop和hive，并启动完hadoop；（2）已配置好hive的环境变量，确保在shell中能正常执行hive。 #! /usr/bin/python #-*-coding:utf-8 -*- import subprocess import traceback sql = """ # 书写hql脚本 ; """ cmd = 'hive -e """'+sql.replace('"', "\'")+'"""' print cmd try: p = subprocess.Popen(cmd, shell=True
4.6K10发布于 2020-01-07 - 来自专栏不想当开发的产品不是好测试
java 执行sql文件
# 背景 用例执行完毕，期望回滚数据，因此希望执行sql来回滚数据 # 步骤 直接show代码，借助的是mybatis的ScriptRunner /** * 执行xx库下的表备份脚本 runner.setAutoCommit(true); String fileName = String.format("src/main/resources/db/%s.sql File file = new File(fileName); try { if (file.getName().endsWith(".sql
3.1K80发布于 2018-04-10 - 来自专栏用户画像
linux 执行.sql文件
在MySQL下执行： source /home/jiangxingqi/DB/hello world.sql
6.7K00发布于 2018-08-24 - 来自专栏深度学习与python
5年迭代5次，抖音推荐系统演进历程
这些服务在特定的业务场景和历史条件下较好支持了业务快速发展，大体的历程如下： 推荐场景特征服务演进历程 在这其中 2020 年初是一个重要节点，我们开始在特征生产中引入 Flink SQL、Flink 有状态特征是非常重要的一类特征，其中最常用的就是带有各种窗口的特征，例如统计最近 5 分钟视频的播放 VV 等。 FeaturePayLoad featureSnapshot, Map<String, Object> rawFeatures); } 无状态特征计算接口 另外通过触发机制来触发特征计算层的执行 State 的场景多是 get-update，在使用 RocksDB 作为本地状态存储的过程中，出现过以下问题： 爬虫数据导致热 key，状态会不断进行更新 (get-update)，单 KV 数据达到 5MB ； Flink CEP 规则引擎支持：Flink SQL 本质上就是一种规则引擎，目前在线上我们把 Flink SQL 作为业务 DSL 过滤语义底层的执行引擎。
2.5K20编辑于 2023-04-01 - 来自专栏小工匠聊架构
MySQL- SQL执行计划 & 统计SQL执行每阶段的耗时
---- 某些SQL查询为什么慢 要弄清楚这个问题，需要知道MySQL处理SQL请求的过程， 我们来看下 MySQL处理SQL请求的过程 客户端将SQL请求发送给服务器 服务器检查是否在缓存中是否命中该 SQL，未命中的话进入下一步 服务器进行SQL解析、预处理，再由优化器生成对应的执行计划 根据执行计划来，调用存储引擎API来查询数据 将结果返回给客户端 ---- 查询缓存对SQL性能的影响 query_cache_type 预处理及生成执行计划 接着上一步说，查询缓存未启用，或者 未命中查询缓存 ， 服务器进行SQL解析、预处理，再由优化器生成对应的执行计划 。 MySQL会依赖这个执行计划和存储引擎进行交互 . 包括以下过程 语法解析： 包含语法等解析校验 预处理 : 检查语法是否合法等 执行计划： 上面都通过了，会生成执行计划。 ---- 造成MySQL生成错误的执行计划的原因 存储引擎提供的统计信息不准确 执行计划中的估算不等同于实际的执行计划的成本 MySQL不考虑并发的查询 MySQL有时候会基于一些特定的规则来生成执行计划
3.8K20发布于 2021-08-17 - 来自专栏散尽浮华
mysql操作命令梳理（5）-执行sql语句查询即mysql状态说明
在日常mysql运维中，经常要查询当前mysql下正在执行的sql语句及其他在跑的mysql相关线程，这就用到mysql processlist这个命令了。 mysql> show processlist; //查询正在执行的sql语句 mysql> show full processlist; //查询正在执行的完整sql语句 mysql> kill Created_tmp_tables 当执行语句时，已经被创造了的隐含临时表的数量。 Delayed_insert_threads 正在使用的延迟插入处理器线程的数量。 Flush_commands 执行FLUSH命令的次数。 Handler_delete 请求从一张表中删除行的次数。
2.1K60发布于 2018-01-23 - 来自专栏IT码农
Yii2 SqlDataProvider 原生sql 执行sql
=:status ', [':status' => 1])->queryScalar(); $dataProvider = new SqlDataProvider([ 'sql
1.4K31发布于 2019-09-29 - 来自专栏技术赋能学术
Sql Server 查询正在执行的sql信息
sys.dm_exec_requests er INNER JOIN sys.sysprocesses sp ON er.session_id = sp.spid CROSS APPLY sys.dm_exec_sql_text (er.sql_handle) AS qt WHERE session_Id > 50 /* Ignore system spids.*/ AND session_Id NOT IN (@@SPID
5.4K30发布于 2021-01-08 - 来自专栏PHP在线
SQL语句执行过程详解
一条sql，plsql的执行到底是怎样执行的呢？ 一、SQL语句执行原理： 第一步:客户端把语句发给服务器端执行 当我们在客户端执行 select 语句时,客户端会把这条 SQL 语句发送给服务器端,让服务器端的 进程来处理这语句。 当服务器进程的优化器确定这条查询语句的最佳执行计划后,就会将这条 SQL 语句与执行计划保存到数据高速缓存(library cache)。 第三步:语句执行 语句解析只是对 SQL 语句的语法进行解析,以确保服务器能够知道这条语句到底表达的是什么意思。等到语句解析完成之后,数据库服务器进程才会真正的执行这条 SQL 语句。 5.ORACLE 将这条 sql 语句的本身实际文本、HASH 值、编译代码、与此语名相关联的任何统计数据 和该语句的执行计划缓存在 SHARED POOL 的 library cache中。
4.7K60发布于 2018-03-08 Mysql-SQL执行顺序
SQL的执行顺序事实上，sql并不是按照我们的书写顺序来从前往后、左往右依次执行的，它是按照固定的顺序解析的，主要的作用就是从上一个阶段的执行返回结果来提供给下一阶段使用，sql在执行的过程中会有不同的临时中间表 t.id=s.id where t.name="Yrion" group by t.mobile having count(*)>2 order by s.create_time limit 5; 1、from 第一步就是选择出from关键词后面跟的表，这也是sql执行的第一步：表示要从数据库中执行哪张表。 通过from 和 join on 选择出需要执行的数据库表T和S，产生笛卡尔积，生成T和S合并的临时中间表Temp1。 MzU2MTY3NTA0Ng==&mid=2247483822&idx=1&sn=b39c341718cf76021e1b6a06fbf0b666&chksm=fc746fe7cb03e6f1d7d490a5a3390dc1f9d4f52e08fe2494d3f3b2717e5a588b43d3c1fbfb8b
1.7K10编辑于 2024-03-10- 来自专栏随心笔记
linux定时执行sql文件
root pass="123456" db=test tablename=ts mysql -u$user -p$pass -D $db < /usr/local/crontab/sqlFile/test.sql
1.8K10编辑于 2023-11-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号