首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >火花流的动态目标δ表作为目标

问火花流的动态目标δ表作为目标
EN

Stack Overflow用户
提问于 2022-10-11 13:53:53
回答 1查看 32关注 0票数 1

我们正在处理一个网络日志流。基本上是用户在网站上进行的活动。对于它们执行的每一个活动,我们都有一个单独的活动增量表。

我们正在探索什么是最好的方式来做流吞食。我们有一个卡夫卡流设置,在这里所有的活动都以下面的格式摄取。但是,根据活动的不同,我们需要决定事件要存储的不同目标表。

代码语言:javascript
复制
{
   activity_name: "Purchased"
   data: {
      product: "Soap",
      amount: 1200
   }
}

您能帮助处理这个场景的最佳方法吗?

EN

回答 1

Stack Overflow用户

发布于 2022-10-12 18:44:26

这是呼叫复用。通常的解决方案是使用带有.foreachBatch函数的结构化流作为接收器,然后在该函数中为activity_name的每个可能值编写数据。

如下所示(例如,如这篇博客文章中所示):

代码语言:javascript
复制
activity_names = ["Purchased", ...]
app_name = "my_app_name"

def write_tables(df, epoch):
  df.cache()
  for n in activity_names:
    df.filter(f"activity_name = '{n}'") \
      .write.mode("append") \
      .option("txnVersion", epoch) \
      .option("txnAppId", app_name) \
      .save(...)
    
  df.unpersist()


stread_df.writeStream \
  .foreachBatch(write_tables) \
  .option("checkpointLocation", "some_path") \
  .start()

请注意,如果在执行过程中重新启动了微批处理,我们将使用幂等写对Delta表进行处理以避免重复。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/74029317

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档