假设我有超过10,000个提要,我想定期获取/解析这些提要。如果周期为1h,则为24x10000 =24万胎。
当前的10k限制将阻止每个获取设置一个任务。那么,人们将如何做到这一点?
更新: RE:获取每个任务的托儿所--如果在某个时候每个请求超时30秒,这将达到上限。是否存在将其并行化的方法,以便每个任务队列启动一组异步并行获取,每个并行获取将花费不到30秒的时间完成,但这一切可能需要更多的时间。
发布于 2009-07-18 23:28:57
下面是异步urlfetch API:
http://code.google.com/appengine/docs/python/urlfetch/asynchronousrequests.html
设置一组有合理期限的请求(在超时时间内给自己留出一些空间,这样如果一个请求超时,您还有时间处理其他请求)。然后依次等待每一个,并在它们完成时进行处理。
我本人还没有在GAE中使用过这种技术,所以你可以自己发现任何不明显的问题。遗憾的是,API中似乎没有select()风格的调用来等待几个请求中的第一个完成。
发布于 2009-07-18 22:10:25
每个任务取2次?
发布于 2009-07-18 22:16:01
对取取进行分组,所以不要排队,而是排队排队,比如说,一个工作单元,它执行10次取取。
https://stackoverflow.com/questions/1148709
复制相似问题