我想知道在什么情况下,星火将执行合并作为联非新议程功能的一部分。
动机:在我的星火项目中,我在窗口上使用了很多函数。我经常想回答这样的问题:
在30天的窗口内,信用卡交易在同一个国家和当前的交易中进行了多少次?
该窗口将在当前事务上启动,但它不会将其包含在计数中。它需要从当前交易的价值,以知道哪个国家在过去30天。
val rollingWindow = Window
.partitionBy(partitionByColumn)
.orderBy(orderByColumn.desc)
.rangeBetween(0, windowSize)
df.withColumn(
outputColumnName,
customUDAF(inputColumn, orderByColumn).over(rollingWindow))我写了我的customUDAF来做计数。我总是使用.orderBy(orderByColumn.desc),感谢.desc,在计算期间,当前事务在窗口中显示为第一位。
merge函数要求在并行计算中合并两个中间聚合缓冲器的函数。如果发生任何合并,对于不同的缓冲区,我的current transaction可能不是相同的,并且联非新议程的结果将是不正确的。
我编写了一个联非新议程函数,它在我的数据集上统计合并的数量,并且只将第一个事务保存在窗口中,以便与当前事务进行比较。
class FirstUDAF() extends UserDefinedAggregateFunction {
def inputSchema = new StructType().add("x", StringType)
.add("y", StringType)
def bufferSchema = new StructType()
.add("first", StringType)
.add("numMerge", IntegerType)
def dataType = new StructType()
.add("firstCode", StringType)
.add("numMerge", IntegerType)
def deterministic = true
def initialize(buffer: MutableAggregationBuffer) = {
buffer(0) = ""
buffer(1) = 1
}
def update(buffer: MutableAggregationBuffer, input: Row): Unit = {
if (buffer.getString(0) == "")
buffer(0) = input.getString(0)
}
def merge(buffer1: MutableAggregationBuffer, buffer2: Row) = {
buffer1(1) = buffer1.getInt(1) + buffer2.getInt(1)
}
def evaluate(buffer: Row) = buffer
}当我在带有16个cpu的本地主机上运行spark 2.0.1时,就不会有任何合并,并且窗口中的第一个事务始终是当前事务。这就是我想要的。在不久的将来,我将在一个x100更大的数据集和真正的分布式星火集群上运行我的代码,并想知道是否可以在那里进行合并。
问题:
发布于 2017-12-18 12:09:21
联非新议程在什么情况下/条件下进行合并?
当聚合函数的部分应用程序(“映射侧聚合”)在洗牌后合并(“减少侧聚合”)时,将调用merge。
Windows与orderBy是否有合并?
在目前的实现中永远不会。到目前为止,窗口函数只是花哨的groupByKey,没有部分聚合。当然,这是实现细节,将来可能会在没有进一步通知的情况下进行更改。
有可能告诉斯派克不要进行合并吗?
事实并非如此。但是,如果数据已经由聚合键进行分区,则不需要merge,只使用combine。
最后:
在30天的窗口内,信用卡交易在同一个国家和当前的交易中进行了多少次?
不调用UDAFs或窗口函数。我可能会用o.a.s.sql.functions.window创建滚动窗口,按用户、国家和窗口进行聚合,并与输入连接。
https://stackoverflow.com/questions/47866141
复制相似问题