我有一个流数据,我必须使用至少2个lambda函数来处理每个即将到来的数据记录。基本上,当一个lambda函数处理一个即将出现的记录时,它将验证几个条件,最后它将生成一个新的行数据并将其保存到我的数据库中,这个新行有一个名为“发生”的列,表示在我的数据库中出现了这个新行。我必须使用两个以上的lambda函数,因为接下来的数据太大了,我想加快处理速度。但这导致了一个问题,更具体地说,假设我有2个λ函数A和B,同时有2个记录x和y,A进程x,B进程y,在处理x和y之后,A和B将分别生成新的行x‘和y’。但是,有可能x‘与y’相同,当A和B将x‘和y’保存到我的数据库中时,x‘(也是y')的出现列只增加1(因为A和B将首先在我的数据库中找到x’(也是y')的现有数据,然后更新列'occurrence‘),但是这里的增加应该是2。如果我只使用一个lambda函数,就不会出现这个问题。我认为解决方案应该是如何存储和更新数据,或者如何管理两个同时运行的lambda函数。但到目前为止,我还没有搞清楚。任何帮助都将不胜感激。
发布于 2022-04-21 08:02:15
您是对的,您需要在存储数据时小心,以确保没有重复。在更新时,请确保您与其他更新操作没有冲突。然而,这通常是通过利用数据库的一个特性来实现的。因此,如何实现这一点也取决于您使用的数据库。
示例1- DynamoDB
在DynamoDB中,这可以使用条件更新来处理。见这个例子。这样做的目的是在更新期间指定当前值,以便只有当当前值没有更改时,更新才会成功。
因此,在应用程序中,首先检索当前值。例如,假设DB告诉您当前的值是5。然后你告诉DynamoDB:
update to: 6
if the current value is: 5如果同时发生了另一个更新,则当前值为6。因此,当DynamoDB执行上面的update语句时,条件检查将失败。然后,您只需再试一次(检索最新的值并尝试再次更新)。
例2- MySQL
在关系数据库中,更新语句通常会自动放置锁定机制。这意味着,只要不对update语句中的当前值进行硬编码,就不需要做任何事情。
也就是说,这样做没问题:
UPDATE table1 SET occurrence = occurrence + 1 where ID = ${id};数据库将确保该语句按顺序执行,即使其中两个或更多的语句是并发提交的。
但是,不要这样做:
UPDATE table1 SET occurrence = ${current_value} + 1 where ID = ${id};因为这是对值进行硬编码。
https://stackoverflow.com/questions/71948878
复制相似问题