星星之火-SQL查询提示以提高连接性能

Question

我最近被介绍给SparkSQL。我们使用Spark 2.4。最近，我发现SparkSQL查询支持其连接策略的以下提示：

• 广播提示
• 合并提示
• SHUFFLE_HASH提示

不幸的是，我还没有找到任何在线材料来详细讨论这些提示及其应用场景。我希望学习一些关于何时在查询连接中使用这些提示以提高查询性能的技巧。

有人能用一些例子来解释吗。任何帮助都是非常感谢的。谢谢

Answer 1

1. 广播连接是一个非常高性能的连接，它将小表的数据发送给每个执行者，以执行一个映射端连接。下面是配置:spark.sql.autoBroadcastJoinThreshold
2. 排序-合并连接是火花2.3之后的默认连接选择。

有一些帖子，希望能帮到你：星星之火SQL连接 排序-合并连接