Spark SQL查询计划 - 腾讯云开发者社区

文章/答案/技术大牛

发布

解释SQL查询计划

解释SQL查询计划本章介绍由ShowPlan生成的InterSystems SQL查询访问计划中使用的语言和术语。存储在映射中的表 SQL表存储为一组映射。...发展计划编译SQL查询会生成一组指令来访问和返回查询指定的数据。这些指令表示为. int例程中的ObjectScript代码。...指令及其执行顺序受到SQL编译器中有关查询中涉及的表的结构和内容的数据的影响。编译器尝试使用表大小和可用索引等信息，以使指令集尽可能高效。...虽然SQL编译器试图最有效地利用查询指定的数据，但有时查询的作者对存储的数据的某些方面的了解要比编译器清楚得多。...发送给处理的查询对于通过ODBC或JDBC网关连接链接的外部表，该计划显示发送到远程SQL gateway connection的查询文本，以从远程表检索所请求的数据。

1.4K2 0

解释SQL查询计划（一）

解释SQL查询计划（一） SQL语句这个SQL语句列表为每个表提供了SQL查询和其他操作的记录，包括插入、更新和删除。这些SQL语句链接到一个查询计划，该链接提供冻结该查询计划的选项。...然后,可以: 确定每个SQL操作使用哪个查询计划。可以决定使用反映对表定义所做更改的修改后的查询计划。或者可以冻结当前查询计划，保留在更改表定义之前生成的查询计划。...创建该查询计划时，将解冻该查询计划; 可以随后将该查询计划指定为冻结计划。带有查询计划的SQL语句包括涉及SELECT操作的DML命令。...blank:没有关联的查询计划: INSERT... VALUES() 命令创建的SQL语句没有关联的查询计划，因此无法解冻或冻结(计划状态列为空)。...即使基于游标的UPDATE或DELETE不会产生查询计划，但SQL语句中列出的查询计划仍然很有用，因为它允许快速定位针对该表的所有SQL操作。

4.5K2 0

您找到你想要的搜索结果了吗？

是的

没有找到

解释SQL查询计划（二）

解释SQL查询计划（二） SQL语句的详细信息有两种方式显示SQL语句的详细信息: 在SQL Statements选项卡中，通过单击左侧列中的Table/View/Procedure Name链接选择一个...这将在弹出窗口中显示SQL语句详细信息。可以使用“SQL语句详细信息”显示来查看查询计划，并冻结或解冻查询计划。 “SQL语句详细信息”提供冻结或解冻查询计划的按钮。...Frozen/Explicit意味着该语句的计划已被显式用户操作冻结，无论生成此SQL语句的代码发生了什么变化，该冻结的计划都将是将要使用的查询计划。...冻结计划时，语句文本和查询计划将并排显示冻结的计划和未冻结的计划，以便进行比较。本节还包括五个查询性能统计字段，将在下一节中进行描述。...除了SQL语句名称、计划状态、位置和文本之外，还为缓存查询提供了以下附加信息: 计数Count:运行此查询次数的整数计数。如果对该查询产生不同的查询计划(例如向表中添加索引)，则将重置该计数。

2.8K2 0

Spark SQL(三)：基本概念-查询重写

查询重写(queryrewrite)：按照一系列关系代数表达式的等价规则，对查询的关系代数表达式进行等价转换，从而提高查询执行效率。逻辑优化的本质：基于查询重写获取最优的逻辑计划树。...subseteqSC⊆S）：Gc(R)=Gc(ΠS(R))\mathcal{G}_c(R)=\mathcal{G}_c(\Pi_S(R))Gc(R)=Gc(ΠS(R))附录数据库系统概念(原书第7版)第11章查询优化

3031 0

Clickhouse如何分析sql查询计划完整指南

ClickHouse20.6之前目前并没有直接提供EXPLAIN查询，但是借助后台的服务日志，能变相实现该功能。...日志中打印了该SQL的执行计划。 Access granted: 表示授权。...Key condition: unknown 该查询语句没有使用主键索引 MinMax index condition: unknown 该查询语句没有使用分区索引 Selected 6/6 parts...---- 从20.6开始可以通过explain来查询执行计划。 EXPLAIN [AST | SYNTAX | PLAN | PIPELINE] [setting = value, ...]...header 打印计划中各个步骤的 head 说明，默认关闭，默认值 0; description 打印计划中各个步骤的描述，默认开启，默认值 1； actions 打印计划中各个步骤的详细信息，默认关闭

2.6K2 0

Spark SQL(七)：AQE自适应查询执行(下)

前置文章：SparkSQL(六)：AQE自适应查询执行(上)基础背景：ShufflePartitionSpecSparkExchange算子有两类实现：ShuffleExchangeExec大规模数据shuffle...读取优化，基于AQEShuffleReadRule规则实现，在ShuffleQueryStageExec之上创建AQEShuffleReadExec实现，基于ShufflePartitionSpec修改执行计划的读取分区方式...ShuffleLocalread优化1.2.SortMergeJoin→ShuffleHashJoinAQE优化：DynamicJoinSelection.preferShuffledHashJoinsetspark.sql.adaptive.maxShuffledHashJoinLocalMapThreshold...=300MB;--该参数默认为0setspark.sql.adaptive.autoBroadcastJoinThreshold=-1;--关闭AQEbroadcast优化1.3.BroadcastHashJoin...→SortMergeJoin待优化：优化CostEvaluatorAQE代价评估，允许BroadcastJoin的代价超过ShuffleJoin，支持初始计划BroadcastJoin降级。

8431 0

Spark SQL(六)：AQE自适应查询执行(上)

实现原理AQE架构：在静态查询优化器与分布式调度器之间。...执行RDD阶段：Spark执行是从下游开始触发的，当 AdaptiveSparkPlanExec 被执行时，调用 getFinalPhysicalPlan方法来启动执行流程。...广播复用优化ReuseAdaptiveSubquery通过TrieMap缓存已执行的子查询物理计划，避免重复计算相同逻辑的子查询，类似CTE物化OptimizeSkewInRebalancePartitionsAQE...ScriptTransformation）转换为 Spark 可执行的物理计划LogicalQueryStageStrategy保证 AQE 拆分后的 QueryStage 执行结果被正确复用，且防止广播...][SQL] 一切梦的开始Spark AQE的源码初探

8341 0

Spark sql逻辑执行计划优化器——EliminateOuterJoin【消除outerjoin】

所有优化器的前提：不影响查询结果，即要保证优化前和优化后两个sql执行的效果相同 EliminateOuterJoin的主要作用是消除外连接（left,right,full），比如把left join、

9014 0

mysql中的查询计划及sql语句性能分析

）sql语句的查询执行计划的。...语句 explain select * from employee; explain执行计划输出中的各个列的详解 id 描述：select查询的序列号,包含一组数字，该组数字表示查询中执行select子句或操作表的顺序...那么该条sql语句的执行顺序是由上到下，也就是说先查询的c表然后查询 e表最后查询d表。...对于单表查询来说，这个filtered列的值没什么意义，更关注在连接查询中对应的执行计划记录的filtered列的值。关于这里的多表demo也就先不演示了。...如果查询中使用到了内部的临时表，在执行计划的Extra列将会显示using temporary提示。当你看到using temporary的时候，那么一定要优化该条sql语句。

3.1K3 0

使用Spark SQL构建交互式查询引擎

StreamingPro目前已经涵盖流式/批处理，以及交互查询三个领域，实现配置和SQL化前言 StreamingPro 原来仅仅是用来作为Spark Streaming的一个配置化+SQL封装...9004 \ -streaming.spark.service true 访问 http://127.0.0.1:9004/sqlui 后可进入查询界面: ?...Snip20160709_5.png 目前支持elasticsearch 索引,HDFS Parquet 等的查询，并且支持多表查询。...除了交互式界面以外，也支持接口查询： http://127.0.0.1:9004/runtime/spark/sql 参数支持：参数名示例说明 tableName.abc hdfs://cluster...)/5)5 as b FROM abc group by floor(floor(time/100)/5)5 查询SQL loader_clzz.abc org.elasticsearch.spark.sql

2.7K1 1

Spark SQL解析查询parquet格式Hive表获取分区字段和查询条件

再进一步限制查询分区表必须指定分区？这里涉及到两种情况：select SQL查询和加载Hive表路径的方式。...如果大家有类似的需求，笔者建议通过解析Spark SQL logical plan和下面说的这种方式解决方案结合，封装成一个通用的工具。...: Set(new Path(“/spark/dw/test.db/test_partition/dt=20200101”))【伪代码】 leafDirs: Seq(new Path(“/spark/...底层处理后得到的basePaths: Set(new Path(“/spark/dw/test.db/test_partition/dt=20200101”),new Path(“/spark/dw/test.db...解决方案（亲测有效） 1.在Spark SQL加载Hive表数据路径时，指定参数basePath，如 sparkSession.read.option("basePath","/spark/dw/test.db

3.6K1 0

阅读查询计划：SQL Server 索引进阶 Level 9

其他有用的资源包括Grant Fritchey的书，SQL Server 执行计划（以电子书形式免费提供）和Fabiano Amorim关于在查询计划输出中找到的各种运算符的Simple-Talk文章系列...图形查询计划查询计划是SQL Server执行查询的一组指令。 SQL Server Management Studio将以文本，图形或XML格式显示查询计划。...查询计划的显示可以请求如下：要请求图形查询计划，请使用Management Studio的SQL编辑器工具栏，该工具栏同时包含“显示估计执行计划”和“包括实际执行计划”按钮。...适当的排序输入是一个很棒的短语，当鼠标悬停在查询计划图标上时，它会验证您选择的索引。哈希如果传入数据的顺序不合适，SQL Server可能会使用散列操作对数据进行分组。...结论查询计划显示SQL Server打算使用或已经使用的方法来执行查询。它通过详细描述将要使用的操作，从操作到操作的行的流程以及涉及的并行性来实现。您可以将这些信息视为文本，图形或XML显示。

1.8K6 0

Spark SQL

一、Spark SQL简介（一）从Shark说起 Hive是一个基于Hadoop 的数据仓库工具，提供了类似于关系数据库SQL的查询语言HiveQL，用户可以通过HiveQL语句快速实现简单的...Shark即Hive on Spark，为了实现与Hive兼容，Shark在HiveQL方面重用了Hive中HiveQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MapReduce...Spark SQL作为Spark生态的一员继续发展，而不再受限于Hive，只是兼容Hive Hive on Spark是一个Hive的发展计划，该计划将Spark作为Hive的底层引擎之一，也就是说，Hive...Spark SQL执行计划生成和优化都由Catalyst（函数式关系查询优化框架）负责。...SQL查询。

3.5K1 0

Spark SQL

概述官方地址 http://spark.apache.org/sql/ Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式...SQL查询引擎的作用。...DataFrame SparkSQL使用的数据抽象是DataFrame ,DataFrame让Spark具备了处理大数据结构化数据的能力，它不仅比原来的RDD转换方式更加简单易用，而且获得了更高的计算能力...Spark 能够轻松实现从Mysql到DataFrame的转化，并且支持SQL查询。...image.png DataFrame创建从Spark2.0以上版本开始，Spark使用全新的SparkSession接口代替Spark1.6的SQLContex以及HiveContext接口

1.1K1 0

Spark系列 - (3) Spark SQL

DataFrame的查询计划可以通过Spark catalyst optimiser进行优化，即使 Spark经验并不丰富，用dataframe写得程序也可以尽量被转化为高效的形式予以执行。...性能上比 RDD 要高，主要原因：优化的执行计划：查询计划通过 Spark catalyst optimiser 进行优化。...3.2.3 Sql、dataframe、DataSet的类型安全如果使用Spark SQL的查询语句，要直到运行时你才会发现有语法错误（这样做代价很大）。...3.3 Spark SQL优化 Catalyst是spark sql的核心，是一套针对spark sql 语句执行过程中的查询优化框架。...因此要理解spark sql的执行流程，理解Catalyst的工作流程是理解spark sql的关键。而说到Catalyst，就必须提到下面这张图了，这张图描述了spark sql执行的全流程。

3.8K1 0

spark学习笔记：spark sql

org.apache.spark.sql.SQLContext import org.apache.spark....{SparkConf, SparkContext} import org.apache.spark.sql.SparkSession import org.apache.spark.sql.hive.HiveContext...val sqlQuery = Source.fromFile( dataSqlFile ).mkString val dataSqlFrame = SparkConfTrait.spark.sql...def main(args: Array[String]): Unit = { // val sqlQuery = Source.fromFile("path/to/data.sql...def main(args: Array[String]): Unit = { // val sqlQuery = Source.fromFile("path/to/data.sql

1.2K1 0

陌陌:使用Spark SQL和Alluxio加速Ad Hoc查询

性能评估我们抽取了四个不同大小的线上查询作实验，并且以四种不同环境运行这些查询, 后文以不同模式来区分这些环境： Yarn模式，是当前线上的生产环境。...下面的表格显示了查询的输入大小信息，图表显示了性能结果。Y轴是以秒为单位的时间，更快显然更好。 ? ?...因此，如果SQL是一个涉及缓存白名单中表的数据查询,那么表的路径将会被转换为一个Alluxio的URI，这样应用程序就可以从Alluxio读取相关数据。...如果SQL是一个DML 或 DCL 操作，它保持和原来一样，并直接写入远程文件系统（本例中既是HDFS）。...总结和下一步工作根据性能评估结果，大多数情况下Alluxio提高了计算性能，所以后续计划更广泛地部署相关服务并推广到更多的应用场景。

2K3 0

spark sql简单查询千亿级库表导致的问题

一、问题现象今天有客户咨询到我们，他们利用spark sql查询简单的sql： select * from datetable limit 5; //假设表名是datetable 结果报错内存溢出：...因此，我们用hive原生sql查询，发现不存在这个问题。二、排查问题经过分析，发现被查询的表数据量特别大，整个表有1000多亿行数据。...数据表存储在HDFS的目录结构也是： /${hive-warehouse}/dbname/tablename/dt=xxx/hour=xxx/files 根据之前使用spark sql的经验、以及逛社区查找的信息...sql至少会扫描一个完整的第一重分区的数据，当数据量很大的时候，因此往往会出现内存不足。...三、验证结论 1、首先我们直接用spark sql查询： select * from datetable limit 5; 从日志可以查看出excutor在疯狂地扫描HDFS的文件：而且这些被扫描的

5.8K4 0

SQL、Pandas和Spark：常用数据查询操作对比

沿承系列文章，本文对SQL、Pandas和Spark这3个常用的数据处理工具进行对比，主要围绕数据查询的主要操作展开。 ?...本文首先介绍SQL查询操作的一般流程，对标SQL查询语句的各个关键字，重点针对Pandas和Spark进行介绍，主要包括10个常用算子操作。...在最新TIOBE排行榜中，SQL位居第10位一般而言，一句标准的SQL语句按照书写顺序通常含有如下关键词： select：指定查询字段 distinct：对查询结果字段进行去重 from：明确查询的数据库和表...，但查询资料未果后，就放弃了…… 当然，本文的目的不是介绍SQL查询的执行原理或者优化技巧，而仅仅是对标SQL查询的几个关键字，重点讲解在Pandas和Spark中的实现。...03 小节对标SQL标准查询语句中的常用关键字，重点对Pandas和Spark中相应操作进行了介绍，总体来看，两个计算框架均可实现SQL中的所有操作，但Pandas实现的接口更为丰富，传参更为灵活；而

3.8K2 0

左右SQL执行计划妙招 ①——子查询的应用范围

在优化的大方向基本上都清晰后，剩下的就是具体的优化实施：修改数据库及主机相关性能参数；根据业务规则修改SQL代码；重新收集统计信息获取更准确的执行计划等。...OK，让我们开始吧，先看看总体学习思路，如下图所示：关键词执行计划 HINT 子查询 SQL 1 控制执行计划的方法综述 1.1 控制执行计划的意义前面已经讲过了，这里简单总结为两点：可以临时在高峰期解决问题...1.2 控制执行计划的思路一般来说，环境的影响会改变SQL的执行计划，除此之外就是Hint 会强制让Oracle根据你的要求走对应的执行计划。...2.1 HINT的思路(子查询应用范围）简单的SQL语句只有一个单独的查询块。... 面对没有别名的子查询时，第三种方法是唯一选择在实际应用中，应根据SQL结构特点和优化需求，灵活选择合适的HINT应用方法。

3280 0

点击加载更多

解释SQL查询计划

解释SQL查询计划（一）

解释SQL查询计划（二）

Spark SQL(三)：基本概念-查询重写

Clickhouse如何分析sql查询计划完整指南

Spark SQL(七)：AQE自适应查询执行(下)

Spark SQL(六)：AQE自适应查询执行(上)

Spark sql逻辑执行计划优化器——EliminateOuterJoin【消除outerjoin】

mysql中的查询计划及sql语句性能分析

使用Spark SQL构建交互式查询引擎

Spark SQL解析查询parquet格式Hive表获取分区字段和查询条件

阅读查询计划：SQL Server 索引进阶 Level 9

Spark SQL

Spark SQL

Spark系列 - (3) Spark SQL

spark学习笔记：spark sql

陌陌:使用Spark SQL和Alluxio加速Ad Hoc查询

spark sql简单查询千亿级库表导致的问题

SQL、Pandas和Spark：常用数据查询操作对比

左右SQL执行计划妙招 ①——子查询的应用范围

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐