我有两个大型数据集。第一个数据集包含大约1.3亿个条目。
第二个数据集包含大约40000个条目。从MySQL表中获取数据。
我需要做一个交叉连接,但我得到了
java.sql.SQLException: GC overhead limit exceeded在Scala中实现这一点的最佳技术是什么?
以下是我的代码片段:
val df1 = (spark.read.jdbc(jdbcURL,configurationLoader.mysql_table1,"id",100,100000,40, MySqlConnection.getConnectionProperties))
val df2 = (spark.read.jdbc(jdbcURL,configurationLoader.mysql_table2, MySqlConnection.getConnectionProperties))
val df2Cache = df2.repartition(40).cache()
val crossProduct = df1.join(df2Cache)df1是较大的数据集,而df2是较小的数据集。
发布于 2019-01-12 11:11:35
130M*40K =52万亿条记录是存储该数据所需的52TB的内存,如果我们假设每条记录都是1字节,这肯定不是真的。如果它多达64字节(我认为这也是一个非常保守的估计),那么您将需要3.32PB (!)仅仅是为了存储数据。这是一个非常大的数据量,所以除非您有一个非常大的集群和集群内非常快的网络,否则您可能需要重新考虑您的算法以使其工作。
也就是说,当您对两个SQL /dataframes执行join时,Spark用来存储连接结果的分区数量由spark.sql.shuffle.partitions属性控制(请参阅here)。您可能希望将其设置为一个非常大的数字,并将executors的数量设置为您可以使用的最大数量。然后,您可能能够将处理运行到最后。
此外,您可能希望查看spark.shuffle.minNumPartitionsToHighlyCompress选项;如果您将其设置为小于您的随机分区数量,您可能会获得另一次内存提升。请注意,在最近的Spark版本之前,该选项是一个硬编码常量,设置为2000,因此根据您的环境,您只需将spark.sql.shuffle.partitions设置为大于2000的数字即可使用它。
发布于 2019-01-15 02:49:09
同意Vladimir的观点,想要增加更多的观点。
请参见MapStatus set spark.sql.shuffle.partitions it to 2001 (old approach)(默认值为200)。
正如弗拉基米尔在回答中提到的那样,新方法(spark.shuffle.minNumPartitionsToHighlyCompress)。
为什么会有这样的变化?:
它将应用不同的算法来处理
def apply(loc: BlockManagerId, uncompressedSizes: Array[Long]): MapStatus = {
if (uncompressedSizes.length > minPartitionsToUseHighlyCompressMapStatus) {
HighlyCompressedMapStatus(loc, uncompressedSizes)
} else {
new CompressedMapStatus(loc, uncompressedSizes)
}
}HighlyCompressedMapStatus:
一种MapStatus实现,用于存储比spark.shuffle.accurateBlockThreshold更大的巨型数据块的准确大小。它存储其他非空块的平均大小,以及用于跟踪哪些块为空的位图。
spark.shuffle.accurateBlockThreshold - see here:当我们在HighlyCompressedMapStatus中压缩洗牌块的大小时,如果它超过这个配置,我们将准确地记录它的大小。这有助于防止OOM,避免在获取混洗块时低估混洗块大小。
CompressedMapStatus:
跟踪每个块大小的MapStatus实现。每个块的大小使用单个字节表示。
还设置为您的spark-submit
--conf spark.yarn.executor.memoryOverhead=<10% of executor memory> -- conf spark.shuffle.compress=true --conf spark.shuffle.spill.compress=true 在这两种情况下,压缩都将使用spark.io.compression.codec
结论:大型任务应该使用
HighlyCompressedMapStatus,executor内存开销可以是executor内存的10 %。
此外,请看一下spark memory tuning
发布于 2019-01-15 03:33:28
增加SPARK_EXECUTOR_MEMORY到更高的值,并重新分区到更多的分区
https://stackoverflow.com/questions/54154181
复制相似问题