如果Lambda函数失败，是否有一种恢复动态数据的方法？

Question

上下文:我正在使用lambda函数从第三方源抓取数据(这个lambda函数被调用了我的一个cloudwatch事件桥，因此它是异步的)，然后将该数据写入kinesis，将其写到一个S3桶中。这允许数据缓冲，并确保数据被写入S3，而不管S3连接失败(因为动态将保持数据并重新尝试写入)。我用块从第三方源中抓取数据(这意味着我会进行多个http调用)，并同时将它们写入消防水管。

问:如果我的lambda在从第三方源获取数据时中途失败，是否有一种方法可以重新调用lambda和轮询动态，以查看存在哪些数据，以确保我不会将相同的数据重新写入到“运动”中？本质上，我希望lambda能够从失败的同一点抓取数据。

Answer 1

如果我的lambda在从第三方源获取数据时中途失败，是否有一种方法可以重新调用lambda和轮询动态，以查看存在哪些数据以确保我不会将相同的数据重新写入到运动中？

不是的。KinsisFire软管不是Kinesis数据流，您不能像使用数据流那样从Firehose中读取。我认为对您来说最简单的方法是设置DynamoDB (或任何类似的)，它将存储某种“书签”，允许您查看最近处理的内容。