我正在从API下载数据并将其写入我存储在S3桶中的csv文件。然后,我将文件从这个输入桶复制到一个带有Lambda函数的输出桶中。从输出桶中,我使用另一个Lambda函数将其摄取到一个MySQL RDS实例中。
当我在桶中创建一个新对象时,复制到另一个桶和上传到RDS的lambda函数都会被触发。由于我附加到我的csv文件,上传到RDS函数被触发的比它应该多的多,我结束在我的数据库中的~30行,而不是6。
我认为,通过在S3桶之间复制文件,我可以避免这种情况,但这并没有帮助。是否有任何方法只上传csv文件到数据库,一旦它已经被写入,而不是当它被更新?我可以推迟触发吗?
我唯一能想到的其他解决方案是跳过复制到另一个桶函数,并安排上传到RDS功能。
发布于 2021-03-07 13:14:04
您需要认识到,S3不支持更新现有文件。如果要将一行附加到S3中现有的CSV文件,则该操作需要再次将CSV文件的全部内容上载到S3,S3将其视为一个新对象。
如果在更新时需要将CSV文件的临时版本存储在S3中,则应该将其存储在单独的路径中,如s3://your_bucket/tmp,然后在完成更新后,将其移动到最终路径(如s3://your_bucket/complete ),并仅在/complete路径上配置Lambda触发器。
https://stackoverflow.com/questions/66516763
复制相似问题