DynamoDB流结构

Question

我有一个DynamoDB表，我想使用DynamoDB表中的数据，并将其放在我们的数据存储中。

我不想直接访问DynamoDB表，相反，我希望添加一个Lambda函数，该函数将侦听表中的任何更改并将其放到DynamoDB流中。

我寻求帮助的部分是：

1. I可以使用python客户机直接从DynamoDB流中消费，并将其加载到数据存储区.

。

1. I可以在中间添加卡夫卡/sns，并从卡夫卡消费。

。

我担心的唯一原因是碎片数据将在24小时后从DynamoDB中删除。万一失败了，我该如何处理呢？

什么是最好的选择1或2？

Answer 1

似乎存在一种误解--您不需要Lambda将某些东西放入DynamoDB流中--这就是DynamoDB为您所做的。

您可以选择设置“传统”DynamoDB流(保留24小时)或动态数据流(保留最多7天)。由于您主要担心24小时限制，所以您可能需要使用，然后从那里处理数据。

您甚至可以从那里与Lambda集成到数据存储中。