我想了解接收器是如何在火花流中工作的。根据我的理解,会有一个接收器任务在执行程序中运行,它收集数据并将其保存为RDD。接收者在调用start()时开始读取。需要澄清以下几点。
想知道星火流和接收器的解剖。
发布于 2016-03-14 18:07:10
我将根据我对卡夫卡接收器的经验来回答,这似乎有点类似于“运动”中发生的事情。
“火花流”的工作开始了多少接收者?一次还是一次。
你打开的每个接收器都是一个连接。在Kafka中,如果您想同时从多个分区读取,则需要打开多个接收器,并且通常将它们合并在一起。
接收器是以推送为基础还是以拉为基础?
拉。在火花流中,每个批处理间隔(在创建StreamingContext时指定)从Kafka提取数据。
在任何情况下,接收方会成为瓶颈吗?
宽泛的问题。那得看情况。如果您的批处理间隔很长,并且您有一个接收方,您的待办事项可能会开始填充。这主要是跟踪和错误,直到你达到你的流媒体工作的最佳平衡。
为了达到并行性的程度,数据应该在工作节点之间进行分区。因此,对于流数据,数据是如何跨节点分布的。
您可以像我前面所说的那样,通过向基础数据源打开多个接收器来创建并发性。此外,在读取数据之后,可以使用标准的Spark机制对数据进行重新分区。
如果在基于批处理时间间隔的新节点上形成了新的RDDs,那么SparkContext如何在提交作业之后将转换函数序列化到该节点。
同样,它通过使用选择的序列化程序和通过连线发送数据来序列化各个阶段中的每个任务。我不太明白你在这里的意思。
接收器发射的数量能由一个参数控制吗?
是的,您可以使用一个配置参数来确定您打开的接收器的数量。这样的代码可以如下所示:
// This may be your config parameter
val numStreams = 5
val kafkaStreams = (1 to numStreams).map { i => KafkaUtils.createStream(...) }
val unifiedStream = streamingContext.union(kafkaStreams)
unifiedStream.print()https://stackoverflow.com/questions/35980596
复制相似问题