首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >即使在使用withIdAttribute时,Apache /数据流输入中的重复

问即使在使用withIdAttribute时,Apache /数据流输入中的重复
EN

Stack Overflow用户
提问于 2018-05-28 05:51:11
回答 1查看 1.4K关注 0票数 2

我正在尝试从第三方API中摄取数据到Dataflow管道中。因为第三方没有提供webhooks,所以我编写了一个定制脚本,不断轮询他们的端点以获得更多的数据。

数据每15分钟刷新一次,但由于我不想错过任何数据点,并且希望在新数据可用时立即使用,所以我的“爬行器”每1分钟运行一次。然后,脚本将数据发送到PubSub主题。很容易看到,PubSub将为源中的每个数据池接收大约15条重复消息。

我第一次尝试识别和丢弃这些重复的消息,是向每个PubSub消息(eventid)添加一个自定义属性,该属性是从其ID + updated_time的散列中创建的。

代码语言:javascript
复制
const attributes = {
         eventid: Buffer.from(`${item.lastupdate}|${item.segmentid}`).toString('base64'),
         timestamp: item.timestamp.toString()
      };
const dataBuffer = Buffer.from(JSON.stringify(item))
publisher.publish(dataBuffer, attributes)

然后,我用withIdAttribute() (这是基于记录ID的新idLabel() )配置了Dataflow。

代码语言:javascript
复制
PCollection<String> input = p
    .apply("ReadFromPubSub", PubsubIO
       .readStrings()
       .fromTopic(String.format("projects/%s/topics/%s", options.getProject(), options.getIncomingDataTopic()))
       .withTimestampAttribute("timestamp")
       .withIdAttribute("eventid"))
   .apply("OutputToBigQuery", ...)

使用该实现,我期望当脚本第二次发送相同的数据池时,重复的eventid将是相同的,而消息将被丢弃。但出于某种原因,我仍然可以在输出数据集中看到副本。

一些问题:

  1. 如果不提供webhooks,是否有聪明的方法从第三方API中摄取数据以获得数据流?
  2. 对于为什么数据流不丢弃这种情况下的消息,有什么想法吗?
    • 我知道数据流上10分钟的去重复限制,但我看到重复的数据,即使在第二次插入(2分钟)。

​

任何帮助都将不胜感激!

EN

回答 1

Stack Overflow用户

发布于 2018-07-17 19:50:08

我认为您在正确的轨道上,而不是我建议使用时间戳的散列。一个更好的方法是使用窗口。检查此文档,它过滤窗口外的数据。

关于额外的重复数据,如果您使用的是请求订阅,并且在数据处理之前到达了确认截止日期,则消息将按照至少一次交货的要求重新发送。在这种情况下,更改确认截止日期,默认为10秒。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/50559885

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档