我们正在处理一个网络日志流。基本上是用户在网站上进行的活动。对于它们执行的每一个活动,我们都有一个单独的活动增量表。
我们正在探索什么是最好的方式来做流吞食。我们有一个卡夫卡流设置,在这里所有的活动都以下面的格式摄取。但是,根据活动的不同,我们需要决定事件要存储的不同目标表。
{
activity_name: "Purchased"
data: {
product: "Soap",
amount: 1200
}
}您能帮助处理这个场景的最佳方法吗?
发布于 2022-10-12 18:44:26
这是呼叫复用。通常的解决方案是使用带有.foreachBatch函数的结构化流作为接收器,然后在该函数中为activity_name的每个可能值编写数据。
如下所示(例如,如这篇博客文章中所示):
activity_names = ["Purchased", ...]
app_name = "my_app_name"
def write_tables(df, epoch):
df.cache()
for n in activity_names:
df.filter(f"activity_name = '{n}'") \
.write.mode("append") \
.option("txnVersion", epoch) \
.option("txnAppId", app_name) \
.save(...)
df.unpersist()
stread_df.writeStream \
.foreachBatch(write_tables) \
.option("checkpointLocation", "some_path") \
.start()请注意,如果在执行过程中重新启动了微批处理,我们将使用幂等写对Delta表进行处理以避免重复。
https://stackoverflow.com/questions/74029317
复制相似问题