首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用任务队列调度App (Python)中大量提要的获取/解析

问使用任务队列调度App (Python)中大量提要的获取/解析
EN

Stack Overflow用户
提问于 2009-07-18 22:04:17
回答 3查看 367关注 0票数 0

假设我有超过10,000个提要,我想定期获取/解析这些提要。如果周期为1h,则为24x10000 =24万胎。

当前的10k限制将阻止每个获取设置一个任务。那么,人们将如何做到这一点?

更新: RE:获取每个任务的托儿所--如果在某个时候每个请求超时30秒,这将达到上限。是否存在将其并行化的方法,以便每个任务队列启动一组异步并行获取,每个并行获取将花费不到30秒的时间完成,但这一切可能需要更多的时间。

EN

回答 3

Stack Overflow用户

发布于 2009-07-18 23:28:57

下面是异步urlfetch API:

http://code.google.com/appengine/docs/python/urlfetch/asynchronousrequests.html

设置一组有合理期限的请求(在超时时间内给自己留出一些空间,这样如果一个请求超时,您还有时间处理其他请求)。然后依次等待每一个,并在它们完成时进行处理。

我本人还没有在GAE中使用过这种技术,所以你可以自己发现任何不明显的问题。遗憾的是,API中似乎没有select()风格的调用来等待几个请求中的第一个完成。

票数 3
EN

Stack Overflow用户

发布于 2009-07-18 22:10:25

每个任务取2次?

票数 2
EN

Stack Overflow用户

发布于 2009-07-18 22:16:01

对取取进行分组,所以不要排队,而是排队排队,比如说,一个工作单元,它执行10次取取。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/1148709

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档