我在火花流应用程序中的驱动进程有问题。问题是驱动程序进程内存不足.主节点和工作节点都没有问题(它们连续运行几天都很好)。但是,即使使用非常有限的提要(每5分钟有两条消息,处理1条消息所需的时间不到100 in ),在一段时间后(例如周末),我在驱动进程中也会出现oom错误。
以下是更多细节:
我有一个简单的火花流应用程序,它使用来自mqtt数据源的事件,并将这些事件存储在数据库中。我使用的是一个小星体,它有一个主节点和两个工作节点。我有一个驱动程序进程(开始使用火花提交和部署模式客户端),为集群提供信息。我正在使用Java8 (Oracle )在Ubuntu上运行spark-1.4.1-bin-hadoop2.6。
我的驱动程序基本上如下:
JavaReceiverInputDStream<String> messages = createInputDStream(ssc);
messages.mapPartitions(...).mapToPair(...).updateStateByKey(...).
foreachRDD(rdd -> {
rdd.foreach(ne -> {
});
return null;
});我已经做了初步调查。如果我使用驱动程序进程的堆转储来收集实例的直方图(jmap -histo),我通常会看到如下内容:
1: 36388 81204168 [B
2: 407486 32826432 [C
3: 40849 25067224 [I
4: 367245 8813880 scala.collection.immutable.$colon$colon
5: 311000 7464000 java.lang.String
6: 114294 7314816 org.apache.spark.storage.RDDInfo我注意到,随着时间的推移,RDDInfo对象的数量正在增加。堆转储显示,RDDINfo对象的大部分保存在JobProgressListener的stageIdToData映射中。看一下该类的代码,似乎应该处理掉旧数据。因此,我已经
spark.ui.retainedJobs 50
spark.ui.retainedStages 50在conf/spark defaults.conf中。但这没什么用。从我的转储中,我看到这个stageIdToData映射包含1897个条目。考虑到上面的配置设置,这在我看来很奇怪。
,我是不是做错了什么,还是这是火花问题?
发布于 2015-09-10 08:17:32
由于您使用的是updateStateByKey,您必须是检查点您的流。尝试减少检查点间隔。
在您的内存快照中,有一组数组。谁拿着这些?
发布于 2015-09-10 08:06:59
你在应用程序的驱动端做了什么吗?比如获取数据和处理数据,并将其保存在内存中?
https://stackoverflow.com/questions/32440428
复制相似问题