文章/答案/技术大牛

发布

社区首页 >问答首页 >Spark结构化流中驱动程序内存未被清理

问Spark结构化流中驱动程序内存未被清理
EN

Stack Overflow用户

提问于 2022-04-03 05:43:02

回答 1查看 124关注 0票数 0

我正在使用我的星火结构流工作来执行我的ETL在AWS平台，我的驱动内存没有被清除。这项工作是阅读事件从动态和写入到S3下面是我的火花配置。还附加包含驱动程序JVM堆使用图的屏幕截图，以供参考(1表示100%)

spark.cleaner.periodicGC.interval=1min
spark.driver.extraJavaOptions=-XX:+UseG1GC
spark.cleaner.referenceTracking.blocking=false

pyspark

spark-streaming

spark-structured-streaming

amazon-web-services

apache-spark

回答 1

Stack Overflow用户

发布于 2022-05-25 14:34:08

我们已经看到这一点，当星火用户界面在纱线有许多工作被列出。我们限制了no.of的工作(前)。在UI中显示的任务和阶段。这有助于减少驱动程序内存的使用。你可以试一试

spark.ui.retainedJobs, spark.ui.retainedStages,spark.ui.retainedTasks, spark.worker.ui.retainedExecutors,spark.worker.ui.retainedDrivers, spark.sql.ui.retainedExecutions,spark.streaming.ui.retainedBatches

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/71723301

复制

相似问题

问Spark结构化流中驱动程序内存未被清理
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Spark结构化流中驱动程序内存未被清理EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Spark结构化流中驱动程序内存未被清理
EN