我有两个不同的Node.js程序。
一个是Express.js服务器(PROGRAM1),它提供用户界面和RESTful API。
另一种是爬虫(PROGRAM2),它不断地读取项目,从web上下载,并将所有内容存储到数据库中。顺便说一下,我使用Array.prototype.reduce()和Promise依次迭代文件和处理I/O。
我想在这里做的一件事是,从PROGRAM1监视和控制爬虫程序(PROGRAM2)的进度。
但我发现它非常复杂。
// Control the loop by this `flag`, the value can be assigned from outside
var flag = "IDLE";
// The outside can read this `index`, and monitor the progress
var current_index = -1;
var PAGE_SIZE = 100;
function handleBatch(index){
var defer = q.defer();
// Mongoose statement to find documents...
Book.find()
.skip(index*PAGE_SIZE).limit(PAGE_SIZE).then(function(books){
var finished = 0;
for(var i=0; i<books.length; i++){
var book = books[i];
downloadInfo(book).then(function(bookInfo){
if(flag === "STOP")
defer.reject(new Error("The loop should stop!"));
//store the info...
finished ++;
if(finished === PAGE_SIZE)
defer.resolve();
});
}
});
return defer.promise;
}
var promiseHandler;
function main(){
while(true){
if(flag === "IDLE")
continue;
else if(flag === "START"){
var [0,1,2,3,4,5...,2500].reduce(function(lastPromise, nextIndex){
promiseHandler = lastPromise.then(function(){
currentIndex = nextIndex;
});
}, q());
}else if(flag === "STOP"){
promiseHandler.then(null, function(err){
flag = "IDLE";
});
}
}
}main()只是一个例子(例如,实际上它是一个服务器,状态可以通过来自PROGRAM1的请求来改变)。通过将flag设置为STOP,handleBatch()中的循环将发现更改并抛出Exception,然后程序将暂停。
然而,我只是不喜欢这种方式,因为它看起来太丑陋了,并且通过抛出错误来控制过程。因此,我正在寻找一种更好的方法来控制和监控循环。有谁知道吗?
发布于 2016-10-05 03:23:54
发布于 2016-10-05 12:01:53
听起来,您正在寻找一种在node js中实现进程间通信的方法。这是一个广泛的编程主题,远远超出了node js的范畴。实现这一目标的模式和方法有很多,但我最喜欢的一种是使用消息队列来松散地耦合这两个进程。
在节点js上,我们有像Redis和node-redis这样的东西,它们可以用来实现发布-订阅模式。当然,也有许多消息传递库可以正常工作。
在您的示例中,Express API可能会发布一个"pause“事件,而crawler可以订阅该事件并采取一些操作。然后,您的节点应用程序将保持异步(没有while(真的)废话!)。
https://stackoverflow.com/questions/39859533
复制相似问题