首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >S3 Lambda在10分钟后触发双调用

问S3 Lambda在10分钟后触发双调用
EN

Stack Overflow用户
提问于 2017-05-04 14:50:44
回答 2查看 3.1K关注 0票数 7

我们正在经历由S3 ObjectCreated触发的双Lambda调用。这些双调用发生在第一次调用后10分钟,而不是在第一次尝试完成10分钟之后,而是在第一次调用发生后10分钟。最初的调用接受0.1到5秒之间的任何内容。没有调用导致错误,它们都成功地完成了。

我们意识到这样一个事实,例如SQS并不保证消息的准确传递一次,但至少保证一次,而且由于底层分布式系统的结果,我们将接受第二次调用某些lambda。然而,延迟10分钟听起来很奇怪。

在大约10k消息中,100-200会导致双调用。

AWS支持基本上说“10分钟的等待时间是设计好的,但我们不能告诉您原因”,这一点都没有帮助。

  • 以前有没有其他人经历过这种行为?
  • 你是如何解决这个问题的,还是简单地忽略了它(我们可以这样做)?
  • 提出的一种解决方案不是直接使用S3-lambda触发器,而是让S3将其事件放在SNS上,并为此订阅Lambda。有这种方法的经验吗?

示例日志:两个调用,间隔10分钟,相同的RequestId

启动RequestId: f9b76436-1489-11e7-8586-33e40817cb02版本: 13 2017-03-29 14:14:09信息ImageProcessingLambda:104 -处理1条记录

和

启动RequestId: f9b76436-1489-11e7-8586-33e40817cb02版本: 13 2017-03-29 14:24:09信息ImageProcessingLambda:104 -处理1条记录

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2018-01-29 19:25:15

经过几轮AWS支持和其他支持,以及几次孤立的试运行之后,这似乎只是“按设计”。目前还不清楚原因,但它只是发生了。问题不是S3或SQS / SNS,而是lambda调用和lambda服务如何将调用分派给lambda实例。

双调用发生在所有调用的1%到3%之间,在第一次调用之后的10分钟。令人惊讶的是,甚至有三倍(甚至四倍)调用,其幂率为基本概率,所以基本上是0.09%,.三重调用发生在第一次调用后20分钟。

如果您遇到这种情况,您只需使用您可以访问的任何东西来绕过它。例如,我们现在以1小时的TTL将已经处理的实体存储在Cassandra中,如果实体尚未处理,则只响应来自lambda的消息。双调用和三重调用都发生在这一小时的时间范围内。

票数 2
EN

Stack Overflow用户

发布于 2017-10-25 20:54:14

我不想像Dynamo这样的数据存储仅仅为了处理这个问题,我做了两件事来解决我们的用例

  • 将每个函数的锁文件写入S3 (我们已经使用了这个函数),并在函数条目上检查它是否存在,如果存在则中止;对于这个函数,我们一次只想运行其中一个。在我们对错误或成功调用回调之前,将删除锁文件。
  • 在初始事件有效负载中写入请求时间,并在函数条目上检查请求时间;如果请求时间太长,则中止。我们不希望Lambda在错误的情况下重试,除非它们很快完成,因此这将处理在同一函数的另一个调用尚未运行时发送重复或重试的情况(在这种情况下,该调用将被锁文件停止),并且避免了S3请求处理锁文件的最小开销。
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/43786225

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档