我正在尝试从第三方API中摄取数据到Dataflow管道中。因为第三方没有提供webhooks,所以我编写了一个定制脚本,不断轮询他们的端点以获得更多的数据。
数据每15分钟刷新一次,但由于我不想错过任何数据点,并且希望在新数据可用时立即使用,所以我的“爬行器”每1分钟运行一次。然后,脚本将数据发送到PubSub主题。很容易看到,PubSub将为源中的每个数据池接收大约15条重复消息。
我第一次尝试识别和丢弃这些重复的消息,是向每个PubSub消息(eventid)添加一个自定义属性,该属性是从其ID + updated_time的散列中创建的。
const attributes = {
eventid: Buffer.from(`${item.lastupdate}|${item.segmentid}`).toString('base64'),
timestamp: item.timestamp.toString()
};
const dataBuffer = Buffer.from(JSON.stringify(item))
publisher.publish(dataBuffer, attributes)然后,我用withIdAttribute() (这是基于记录ID的新idLabel() )配置了Dataflow。
PCollection<String> input = p
.apply("ReadFromPubSub", PubsubIO
.readStrings()
.fromTopic(String.format("projects/%s/topics/%s", options.getProject(), options.getIncomingDataTopic()))
.withTimestampAttribute("timestamp")
.withIdAttribute("eventid"))
.apply("OutputToBigQuery", ...)使用该实现,我期望当脚本第二次发送相同的数据池时,重复的eventid将是相同的,而消息将被丢弃。但出于某种原因,我仍然可以在输出数据集中看到副本。
一些问题:
任何帮助都将不胜感激!
https://stackoverflow.com/questions/50559885
复制相似问题