首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >何时在用户定义的聚合函数中发生合并?

问何时在用户定义的聚合函数中发生合并?
EN

Stack Overflow用户
提问于 2017-12-18 10:11:08
回答 1查看 1.5K关注 0票数 5

我想知道在什么情况下,星火将执行合并作为联非新议程功能的一部分。

动机:在我的星火项目中,我在窗口上使用了很多函数。我经常想回答这样的问题:

在30天的窗口内,信用卡交易在同一个国家和当前的交易中进行了多少次?

该窗口将在当前事务上启动,但它不会将其包含在计数中。它需要从当前交易的价值,以知道哪个国家在过去30天。

代码语言:javascript
复制
val rollingWindow = Window
      .partitionBy(partitionByColumn)
      .orderBy(orderByColumn.desc)
      .rangeBetween(0, windowSize)

df.withColumn(
  outputColumnName,
  customUDAF(inputColumn, orderByColumn).over(rollingWindow))

我写了我的customUDAF来做计数。我总是使用.orderBy(orderByColumn.desc),感谢.desc,在计算期间,当前事务在窗口中显示为第一位。

merge函数要求在并行计算中合并两个中间聚合缓冲器的函数。如果发生任何合并,对于不同的缓冲区,我的current transaction可能不是相同的,并且联非新议程的结果将是不正确的。

我编写了一个联非新议程函数,它在我的数据集上统计合并的数量,并且只将第一个事务保存在窗口中,以便与当前事务进行比较。

代码语言:javascript
复制
 class FirstUDAF() extends UserDefinedAggregateFunction {

  def inputSchema = new StructType().add("x", StringType)
    .add("y", StringType)

  def bufferSchema = new StructType()
    .add("first", StringType)
    .add("numMerge", IntegerType)

  def dataType = new StructType()
    .add("firstCode", StringType)
    .add("numMerge", IntegerType)

  def deterministic = true

  def initialize(buffer: MutableAggregationBuffer) = {
    buffer(0) = ""
    buffer(1) = 1
  }

  def update(buffer: MutableAggregationBuffer, input: Row): Unit = {
    if (buffer.getString(0) == "")
      buffer(0) = input.getString(0)

  }

  def merge(buffer1: MutableAggregationBuffer, buffer2: Row) = {
    buffer1(1) = buffer1.getInt(1) + buffer2.getInt(1)
  }

  def evaluate(buffer: Row) = buffer
}

当我在带有16个cpu的本地主机上运行spark 2.0.1时,就不会有任何合并,并且窗口中的第一个事务始终是当前事务。这就是我想要的。在不久的将来,我将在一个x100更大的数据集和真正的分布式星火集群上运行我的代码,并想知道是否可以在那里进行合并。

问题:

  • 联非新议程在什么情况下/条件下进行合并?
  • Windows与orderBy是否有合并?
  • 有可能告诉斯派克不要进行合并吗?
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-12-18 12:09:21

联非新议程在什么情况下/条件下进行合并?

当聚合函数的部分应用程序(“映射侧聚合”)在洗牌后合并(“减少侧聚合”)时,将调用merge。

Windows与orderBy是否有合并?

在目前的实现中永远不会。到目前为止,窗口函数只是花哨的groupByKey,没有部分聚合。当然,这是实现细节,将来可能会在没有进一步通知的情况下进行更改。

有可能告诉斯派克不要进行合并吗?

事实并非如此。但是,如果数据已经由聚合键进行分区,则不需要merge,只使用combine。

最后:

在30天的窗口内,信用卡交易在同一个国家和当前的交易中进行了多少次?

不调用UDAFs或窗口函数。我可能会用o.a.s.sql.functions.window创建滚动窗口,按用户、国家和窗口进行聚合,并与输入连接。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/47866141

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档