在我的Sails.js应用程序中,我有一个表auctions,它包含从Battle.net API接收到的最后一个转储的数据。
因此,每次realm的新转储到达时,我都需要清除与此realm关联的所有行,然后插入较新的行。
我可以这样做:
destroy()发送一个查询,用转储本身发送另一个查询);item分组,然后用realm和“`item”对所有记录进行destroy(),然后插入新的记录)。我目前正在使用async.forEachOfSeries,使用上面描述的小批,但是使用当前的加载(每次运行作业时插入45k记录),速度慢得令人难以忍受,如果需要更新item工具提示记录,这没有考虑到这一点。如果我尝试一次全部插入它们,Node.js就会开始分页和挂起,或者MariaDB需要比Waterline允许的更长的时间。
我怎样才能更大规模地处理这个问题呢?async.queue或async.cargo会起作用吗?
发布于 2015-09-04 01:34:34
您要替换一个表中的所有行吗?这样做:
CREATE TABLE new LIKE real;newRENAME TABLE real TO old, new TO real;DROP TABLE old;它在零停机时间内实现了交换。您不需要担心负载的效率(步骤2)。
(我留给读者的练习是将这些MySQL/MariaDB代码转换为sails.js或其他什么的。)
https://stackoverflow.com/questions/32388726
复制相似问题