在我的DynamoDB数据库中,每个用户有大约30万个事务。
如果这是最便宜的方式的话,我想以一种无服务器的方式根据这些交易来计算税收。
我的想法是,我应该使用AWS Step函数来获取所有的事务,将它们存储到Amazon中,然后使用AWS Step函数迭代CSV文件中的每一行。问题是,一旦我在CSV中读取了一行,我就必须将其存储在内存中,以便在以后的计算中使用它。如果这个Lambda函数耗尽了时间,那么我就没有办法挽救这个状态,所以这个方法是不可行的。
另一种代价很高的方法是在DynamoDB中拥有每个事务的两个副本,并在复制表上执行操作,保持原始数据不受影响。这方面的问题是,DynamoDB表最终是一致的,而且可能会出现这样的情况:我读取了一个脏项。
发布于 2018-03-11 05:44:40
Serverless是事件驱动处理的理想选择,但是对于批处理用例来说,使用EC2实例可能更容易。
亚马逊的EC2 t2纳米实例低于1c/小时,t2微实例的即期定价也是如此,它们是每秒定价。
发布于 2018-03-11 07:34:07
这里真的没有足够的细节来提出一个好的建议。例如,DynamoDB表中的数据是如何组织的?你打算多久做一次这份工作?你需要多久才能完成这项工作?
你提到了价格,所以我想这是你最大的考虑因素。
Lambda对于事件驱动处理来说是最便宜的。其思想是,对于任何EC2/ECS事件驱动的系统,您将需要在一定程度上超出供应,以处理流量尖峰。过度配置的计算能力大部分时间是空闲的,但您仍然需要支付费用。在lambda的情况下,您要为计算能力多付一点钱,但是您可以节省所需的费用,因为您不需要过多的拨款。
批处理系统倾向于很好地帮助EC2,因为它们通常在整个作业期间使用100%的计算能力。在作业结束时,关闭所有实例,不再为它们支付费用。此外,如果你使用现货定价,你真的可以推低你的计算能力的价格。
https://stackoverflow.com/questions/49214541
复制相似问题