加速feedparser

Question

我正在使用feedparser打印排名前5位的Google新闻标题。我像往常一样从URL获取所有信息。

x = 'https://news.google.com/news/feeds?pz=1&cf=all&ned=us&hl=en&topic=t&output=rss'
feed = fp.parse(x)

我的问题是，当我启动一个shell时，我正在运行这个脚本，所以~2秒的延迟变得相当恼人。这一时间延迟主要是由于网络通信造成的，还是由于解析文件造成的？

如果它来自解析文件，有没有办法只获取我需要的东西(因为在本例中这是最小的)？

如果它来自前一种可能性，有没有办法加速这个过程？

Answer 1

我认为几个延迟加在一起：

• Python解释器需要一段时间来启动和导入模块
• 网络通信需要一点时间
• 解析可能只占用很少的时间，但它可以执行

我认为没有直接的方法可以加快速度，特别是第一点。我的建议是，您可以定期下载提要(您可以设置cron作业或编写Python守护程序)，并将其存储在磁盘上的某个位置(即纯文本文件)，因此您只需在终端启动时显示它们(echo可能是最简单、最快的)。

我个人对feedparser有很好的体验。我使用它通过Python守护程序每半小时下载大约100个提要。

Answer 2

如果你想要更快的结果，实时解析并不是最好的情况。

您可以尝试通过Celery或类似的其他解决方案进行异步操作。我喜欢芹菜，它有很多特异功能。有像cron或async这样的任务能力等等。