文章/答案/技术大牛

发布

社区首页 >问答首页 >网络爬虫-忽略Robots.txt文件？

问网络爬虫-忽略Robots.txt文件？
EN

Stack Overflow用户

提问于 2011-12-05 22:05:03

回答 2查看 12K关注 0票数 14

一些服务器具有robots.txt文件，以阻止web爬虫在其网站中爬行。有没有办法让网络爬虫忽略robots.txt文件？我正在为python使用Mechanize。

python

web-crawler

mechanize

robots.txt

回答 2

Stack Overflow用户

回答已采纳

发布于 2011-12-05 22:10:33

mechanize的documentation具有以下示例代码：

br = mechanize.Browser()
....
# Ignore robots.txt.  Do not do this without thought and consideration.
br.set_handle_robots(False)

这就是你想要的。

票数 29

Stack Overflow用户

发布于 2011-12-05 22:09:31

看起来像您所需要的：

from mechanize import Browser
br = Browser()

# Ignore robots.txt
br.set_handle_robots( False )

但是你知道你在做什么…

票数 9

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/8386481

复制

相似问题

问网络爬虫-忽略Robots.txt文件？
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问网络爬虫-忽略Robots.txt文件？EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问网络爬虫-忽略Robots.txt文件？
EN