首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >基于MariaDB的水线/Sails.js大规模插入和删除

问基于MariaDB的水线/Sails.js大规模插入和删除
EN

Stack Overflow用户
提问于 2015-09-04 01:21:50
回答 1查看 432关注 0票数 2

在我的Sails.js应用程序中,我有一个表auctions,它包含从Battle.net API接收到的最后一个转储的数据。

因此,每次realm的新转储到达时,我都需要清除与此realm关联的所有行,然后插入较新的行。

我可以这样做:

  • 一次性(用destroy()发送一个查询,用转储本身发送另一个查询);
  • 或者通过小批(按item分组,然后用realm和“`item”对所有记录进行destroy(),然后插入新的记录)。

我目前正在使用async.forEachOfSeries,使用上面描述的小批,但是使用当前的加载(每次运行作业时插入45k记录),速度慢得令人难以忍受,如果需要更新item工具提示记录,这没有考虑到这一点。如果我尝试一次全部插入它们,Node.js就会开始分页和挂起,或者MariaDB需要比Waterline允许的更长的时间。

我怎样才能更大规模地处理这个问题呢?async.queue或async.cargo会起作用吗?

EN

回答 1

Stack Overflow用户

发布于 2015-09-04 01:34:34

您要替换一个表中的所有行吗?这样做:

  1. CREATE TABLE new LIKE real;
  2. 用新数据加载new
  3. RENAME TABLE real TO old, new TO real;
  4. DROP TABLE old;

它在零停机时间内实现了交换。您不需要担心负载的效率(步骤2)。

(我留给读者的练习是将这些MySQL/MariaDB代码转换为sails.js或其他什么的。)

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/32388726

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档