首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用AWS用Serverless处理大量数据

问使用AWS用Serverless处理大量数据
EN

Stack Overflow用户
提问于 2018-03-10 22:12:45
回答 2查看 945关注 0票数 1

在我的DynamoDB数据库中,每个用户有大约30万个事务。

如果这是最便宜的方式的话,我想以一种无服务器的方式根据这些交易来计算税收。

我的想法是,我应该使用AWS Step函数来获取所有的事务,将它们存储到Amazon中,然后使用AWS Step函数迭代CSV文件中的每一行。问题是,一旦我在CSV中读取了一行,我就必须将其存储在内存中,以便在以后的计算中使用它。如果这个Lambda函数耗尽了时间,那么我就没有办法挽救这个状态,所以这个方法是不可行的。

另一种代价很高的方法是在DynamoDB中拥有每个事务的两个副本,并在复制表上执行操作,保持原始数据不受影响。这方面的问题是,DynamoDB表最终是一致的,而且可能会出现这样的情况:我读取了一个脏项。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2018-03-11 05:44:40

Serverless是事件驱动处理的理想选择,但是对于批处理用例来说,使用EC2实例可能更容易。

亚马逊的EC2 t2纳米实例低于1c/小时,t2微实例的即期定价也是如此,它们是每秒定价。

票数 0
EN

Stack Overflow用户

发布于 2018-03-11 07:34:07

这里真的没有足够的细节来提出一个好的建议。例如,DynamoDB表中的数据是如何组织的?你打算多久做一次这份工作?你需要多久才能完成这项工作?

你提到了价格,所以我想这是你最大的考虑因素。

Lambda对于事件驱动处理来说是最便宜的。其思想是,对于任何EC2/ECS事件驱动的系统,您将需要在一定程度上超出供应,以处理流量尖峰。过度配置的计算能力大部分时间是空闲的,但您仍然需要支付费用。在lambda的情况下,您要为计算能力多付一点钱,但是您可以节省所需的费用,因为您不需要过多的拨款。

批处理系统倾向于很好地帮助EC2,因为它们通常在整个作业期间使用100%的计算能力。在作业结束时,关闭所有实例,不再为它们支付费用。此外,如果你使用现货定价,你真的可以推低你的计算能力的价格。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/49214541

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档