首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何将一个非常大的csv导入dynamodb?

问如何将一个非常大的csv导入dynamodb?
EN

Stack Overflow用户
提问于 2022-06-07 14:30:12
回答 1查看 369关注 0票数 0

因此,我的s3数据库中有非常大的csv文件(2行mil+ ),我想将它导入dynamodb。

我试过的是:

  1. Lambda I设法使lambda函数工作,但是在我的函数超时后,只有大约120 k的行被导入到ddb。
  2. 管道在使用管道时,被“等待流道”卡住,然后完全停止。
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2022-06-07 16:00:09

下面是一种使用2个Lambdas和一个SQS队列以小块的形式处理大型.csv的无服务器方法:

  1. 使用一次性读取器Lambda,提取使用S3选择 SQL到SELECT s.primary_key FROM S3Object s的所有记录的主键信息,并在适当的位置查询.csv。有关详细信息,请参阅SelectObjectContent API。
  2. Reader将主键放入SQS队列。添加一个死信队列以捕获错误。
  3. 将队列添加为的事件源。开始分批。如果需要,限制并发性。
  4. 并行写入器Lambda调用使用.csv选择:SELECT * WHERE s.primary_key IN ('id1', 'id2', 'id3') FROM S3Object s从S3获取其批主键的记录
  5. Writer将其批记录写入DynamoDB表。
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/72533009

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档