首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Spark中两个大型数据集之间的交叉连接

问Spark中两个大型数据集之间的交叉连接
EN

Stack Overflow用户
提问于 2019-01-12 05:19:35
回答 3查看 2.6K关注 0票数 2

我有两个大型数据集。第一个数据集包含大约1.3亿个条目。

第二个数据集包含大约40000个条目。从MySQL表中获取数据。

我需要做一个交叉连接,但我得到了

代码语言:javascript
复制
java.sql.SQLException: GC overhead limit exceeded

在Scala中实现这一点的最佳技术是什么?

以下是我的代码片段:

代码语言:javascript
复制
val df1 = (spark.read.jdbc(jdbcURL,configurationLoader.mysql_table1,"id",100,100000,40, MySqlConnection.getConnectionProperties))
val df2 = (spark.read.jdbc(jdbcURL,configurationLoader.mysql_table2, MySqlConnection.getConnectionProperties))
val df2Cache = df2.repartition(40).cache()
val crossProduct = df1.join(df2Cache)

df1是较大的数据集,而df2是较小的数据集。

EN

回答 3

Stack Overflow用户

发布于 2019-01-12 11:11:35

130M*40K =52万亿条记录是存储该数据所需的52TB的内存,如果我们假设每条记录都是1字节,这肯定不是真的。如果它多达64字节(我认为这也是一个非常保守的估计),那么您将需要3.32PB (!)仅仅是为了存储数据。这是一个非常大的数据量,所以除非您有一个非常大的集群和集群内非常快的网络,否则您可能需要重新考虑您的算法以使其工作。

也就是说,当您对两个SQL /dataframes执行join时,Spark用来存储连接结果的分区数量由spark.sql.shuffle.partitions属性控制(请参阅here)。您可能希望将其设置为一个非常大的数字,并将executors的数量设置为您可以使用的最大数量。然后,您可能能够将处理运行到最后。

此外,您可能希望查看spark.shuffle.minNumPartitionsToHighlyCompress选项;如果您将其设置为小于您的随机分区数量,您可能会获得另一次内存提升。请注意,在最近的Spark版本之前,该选项是一个硬编码常量,设置为2000,因此根据您的环境,您只需将spark.sql.shuffle.partitions设置为大于2000的数字即可使用它。

票数 5
EN

Stack Overflow用户

发布于 2019-01-15 02:49:09

同意Vladimir的观点,想要增加更多的观点。

请参见MapStatus set spark.sql.shuffle.partitions it to 2001 (old approach)(默认值为200)。

正如弗拉基米尔在回答中提到的那样,新方法(spark.shuffle.minNumPartitionsToHighlyCompress)。

为什么会有这样的变化?:

它将应用不同的算法来处理

代码语言:javascript
复制
def apply(loc: BlockManagerId, uncompressedSizes: Array[Long]): MapStatus = {
    if (uncompressedSizes.length > minPartitionsToUseHighlyCompressMapStatus) {
      HighlyCompressedMapStatus(loc, uncompressedSizes)
    } else {
      new CompressedMapStatus(loc, uncompressedSizes)
    }
  }

HighlyCompressedMapStatus:

一种MapStatus实现,用于存储比spark.shuffle.accurateBlockThreshold更大的巨型数据块的准确大小。它存储其他非空块的平均大小,以及用于跟踪哪些块为空的位图。

spark.shuffle.accurateBlockThreshold - see here:当我们在HighlyCompressedMapStatus中压缩洗牌块的大小时,如果它超过这个配置,我们将准确地记录它的大小。这有助于防止OOM,避免在获取混洗块时低估混洗块大小。

CompressedMapStatus:

跟踪每个块大小的MapStatus实现。每个块的大小使用单个字节表示。

还设置为您的spark-submit

代码语言:javascript
复制
--conf spark.yarn.executor.memoryOverhead=<10% of executor memory>  -- conf spark.shuffle.compress=true --conf spark.shuffle.spill.compress=true 

在这两种情况下,压缩都将使用spark.io.compression.codec

结论:大型任务应该使用HighlyCompressedMapStatus,executor内存开销可以是executor内存的10 %。

此外,请看一下spark memory tuning

票数 2
EN

Stack Overflow用户

发布于 2019-01-15 03:33:28

增加SPARK_EXECUTOR_MEMORY到更高的值,并重新分区到更多的分区

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/54154181

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档