异步批量(批处理)插入到MySQL(或MongoDB?)通过Node.js

Question

直接到Qeustion ->。

问题:使用MySql (来自.NET和PHP后台)执行异步批量插入(如果Node.js可以处理，则不需要大容量)

示例:假设我有40个(可调整的)函数做一些工作(异步)，每次在表中添加一个记录后，它的一次迭代，现在很可能是同时多个函数进行插入调用。考虑到将有一个自动更新字段，MySql能够直接处理它吗？

在C#(.NET)中，我会使用dataTable来包含每个函数中的所有行，并在最后大容量地将dataTable插入数据库表中。并为每个函数启动多个线程。

在这种情况下你会建议采取什么方法，

如果我需要处理每个表10,000或4百万行，这种方法会改变吗？ALso数据库模式不会改变，MongoDB会是一个更好的选择吗？

我是Node，NoSql的新手，目前正在学习noob。所以，如果你能给你的答案提供一些解释，那就太棒了。

谢谢。

编辑：答案: MySql或MongoDB都不支持任何类型的大容量插入，它只是一个foreach循环。它们都能够同时处理大量的连接，性能将在很大程度上取决于您的需求和生产环境。

Answer 1

1)在MySql中，每个连接按顺序执行查询。如果使用一个连接，则40~函数将导致40个查询排队(通过mysql库中的显式队列、基于同步原语的代码或系统队列)，而不一定与启动40个函数的顺序相同。在这种情况下，MySQL在自动更新字段中不会出现任何竞赛条件问题。

2)如果您真的想并行执行40个查询，您需要打开40个到MySQL的连接(从性能的角度来看，这不是一个好主意，但同样，Mysql的设计目的是为多个客户端正确地处理自动增量)。

3) Mysql协议在有线级别上没有特殊的批量插入命令，任何公开批量插入api的库实际上只是执行长的'insert . values‘查询。