我正在尝试将一个表从mysql直接导入到mongodb中,而不更改任何模式。
我为此写了一个小的节点脚本,我的问题是我实现它的方式。
也许我在循环中使用mongo db时遇到了某些限制。我认为如果它是反向的,这个问题就不会出现(也许不是!)
事情是这样的。mysql表中的行数超过100,000,但是当循环命中率超过30000左右时,插入项的数量就会减少。
因此,假设使用下面提到的脚本完成导入后,mysql表中有100,000个条目,我得到的最大值只有37000个左右。
我的强烈疑问要么是在节点脚本/节点mongodb连接器中,要么是脚本中的一些bug,或者最后是mongodb并发数据库插入的限制。
我正在粘贴下面的脚本。希望我能想个法子绕过去。
谢谢,
var http = require('http'),
mysql = require('mysql'),
mongo = require('mongodb').MongoClient,
format = require('util').format;
var connection = mysql.createConnection({
user: "xxx",
password: "xxx",
database: "mydb"
});
connection.connect();
var query = "select * from mytable";
var mysqlrows = '';
connection.query(query, function(err,rows,fields){
if(err) throw err;
console.log(rows.length+'rows found.');
mongo.connect('mongodb://root:root@127.0.0.1:27017/mydb', function(err, db){
if (err)
throw err;
var collection = db.collection('mytable');
for(var i=0; i<rows.length;i++)
{
//console.log(JSON.stringify(rows[i]));
(function(i){
collection.insert(rows[i],function(err,docs){});
console.log(i);
})(i);
}
db.close();
});
});
connection.end();发布于 2013-07-03 04:48:38
问题在于,在通过db.close();调用关闭与MongoDb的连接之前,您并没有等待insert操作完成。您需要跟踪未完成的异步请求,然后只在它们都完成时才调用db.close();。
发布于 2013-07-03 00:24:24
要确保从mySQL获取所有数据,请尝试访问最后一行。如果可以,请使用mongodb的w和j标志,以确保每次调用都会在移动到下一个调用之前插入数据。使用w和j标志,您应该考虑多次插入,方法是在每次调用时使用和数组插入多行。
https://stackoverflow.com/questions/17430458
复制相似问题