首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >火花流驱动程序进程内存不足

问火花流驱动程序进程内存不足
EN

Stack Overflow用户
提问于 2015-09-07 13:57:24
回答 2查看 2.3K关注 0票数 3

我在火花流应用程序中的驱动进程有问题。问题是驱动程序进程内存不足.主节点和工作节点都没有问题(它们连续运行几天都很好)。但是,即使使用非常有限的提要(每5分钟有两条消息,处理1条消息所需的时间不到100 in ),在一段时间后(例如周末),我在驱动进程中也会出现oom错误。

以下是更多细节:

我有一个简单的火花流应用程序,它使用来自mqtt数据源的事件,并将这些事件存储在数据库中。我使用的是一个小星体,它有一个主节点和两个工作节点。我有一个驱动程序进程(开始使用火花提交和部署模式客户端),为集群提供信息。我正在使用Java8 (Oracle )在Ubuntu上运行spark-1.4.1-bin-hadoop2.6。

我的驱动程序基本上如下:

代码语言:javascript
复制
JavaReceiverInputDStream<String> messages = createInputDStream(ssc);
messages.mapPartitions(...).mapToPair(...).updateStateByKey(...).
  foreachRDD(rdd -> {
    rdd.foreach(ne -> {
    });
    return null;
  });

我已经做了初步调查。如果我使用驱动程序进程的堆转储来收集实例的直方图(jmap -histo),我通常会看到如下内容:

代码语言:javascript
复制
   1:         36388       81204168  [B
   2:        407486       32826432  [C
   3:         40849       25067224  [I
   4:        367245        8813880  scala.collection.immutable.$colon$colon
   5:        311000        7464000  java.lang.String
   6:        114294        7314816  org.apache.spark.storage.RDDInfo

我注意到,随着时间的推移,RDDInfo对象的数量正在增加。堆转储显示,RDDINfo对象的大部分保存在JobProgressListener的stageIdToData映射中。看一下该类的代码,似乎应该处理掉旧数据。因此,我已经

代码语言:javascript
复制
spark.ui.retainedJobs      50
spark.ui.retainedStages    50

在conf/spark defaults.conf中。但这没什么用。从我的转储中,我看到这个stageIdToData映射包含1897个条目。考虑到上面的配置设置,这在我看来很奇怪。

,我是不是做错了什么,还是这是火花问题?

EN

回答 2

Stack Overflow用户

发布于 2015-09-10 08:17:32

由于您使用的是updateStateByKey,您必须是检查点您的流。尝试减少检查点间隔。

在您的内存快照中,有一组数组。谁拿着这些?

票数 1
EN

Stack Overflow用户

发布于 2015-09-10 08:06:59

你在应用程序的驱动端做了什么吗?比如获取数据和处理数据,并将其保存在内存中?

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/32440428

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档