在处理Cloudflare服务器时，使用请求获取网页花费的时间太长，但在浏览器和curl中工作得很快。

Question

我正在尝试使用feed解析器读取rss提要。但是当使用requests、feedparser或urlopen时，程序就会卡住。我想得到的页面是这里 (mangastream.com rss提要)。

我可以在浏览器中查看它，也可以在终端中使用curl来获取它。

>>> import feedparser
>>> feed = feedparser.parse('http://mangastream.com/rss')

过不了第2行。

​

​

编辑--这可能是cloudflare服务器的问题吗？DoS/bot的某种保护？但它在卷曲中起作用。不是在代理或什么后面。

编辑--不知怎么的，它正在工作，但仍然需要很多时间(超过2-3分钟)。卷发效果更快。

Answer 1

这看起来像是Cloudflare在我这边的一个问题，它用IP地址替换主机名，并在host报头工作时传递域名。

>>> import requests
>>> requests.get("http://104.28.18.11/rss", headers={'host':'mangastream.com'})
<Response [200]>

来源