首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >mongodb nodejs多插入问题

问mongodb nodejs多插入问题
EN

Stack Overflow用户
提问于 2013-07-03 00:08:43
回答 2查看 1.6K关注 0票数 2

我正在尝试将一个表从mysql直接导入到mongodb中,而不更改任何模式。

我为此写了一个小的节点脚本,我的问题是我实现它的方式。

也许我在循环中使用mongo db时遇到了某些限制。我认为如果它是反向的,这个问题就不会出现(也许不是!)

事情是这样的。mysql表中的行数超过100,000,但是当循环命中率超过30000左右时,插入项的数量就会减少。

因此,假设使用下面提到的脚本完成导入后,mysql表中有100,000个条目,我得到的最大值只有37000个左右。

我的强烈疑问要么是在节点脚本/节点mongodb连接器中,要么是脚本中的一些bug,或者最后是mongodb并发数据库插入的限制。

我正在粘贴下面的脚本。希望我能想个法子绕过去。

谢谢,

代码语言:javascript
复制
var http = require('http'),
  mysql = require('mysql'),
  mongo = require('mongodb').MongoClient,
  format = require('util').format;
var connection = mysql.createConnection({
  user: "xxx",
  password: "xxx",
  database: "mydb" 
});

connection.connect();
var query = "select * from mytable";
var mysqlrows = '';
connection.query(query, function(err,rows,fields){
  if(err) throw err;

  console.log(rows.length+'rows found.');

  mongo.connect('mongodb://root:root@127.0.0.1:27017/mydb', function(err, db){ 
    if (err)
      throw err;

    var collection = db.collection('mytable');
    for(var i=0; i<rows.length;i++)
    {
       //console.log(JSON.stringify(rows[i]));

      (function(i){
        collection.insert(rows[i],function(err,docs){});
        console.log(i);
      })(i);
    }

    db.close();        
  });    
});
connection.end();
EN

回答 2

Stack Overflow用户

发布于 2013-07-03 04:48:38

问题在于,在通过db.close();调用关闭与MongoDb的连接之前,您并没有等待insert操作完成。您需要跟踪未完成的异步请求,然后只在它们都完成时才调用db.close();。

票数 2
EN

Stack Overflow用户

发布于 2013-07-03 00:24:24

要确保从mySQL获取所有数据,请尝试访问最后一行。如果可以,请使用mongodb的w和j标志,以确保每次调用都会在移动到下一个调用之前插入数据。使用w和j标志,您应该考虑多次插入,方法是在每次调用时使用和数组插入多行。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/17430458

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档