问用google bot掩码java jsoup爬虫来下载网页
EN

Stack Overflow用户

提问于 2013-08-27 12:17:15

回答 1查看 1.1K关注 0票数 1

我在我的网络爬虫里用Jsoup。这是我用来下载网页的代码。

String ua = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30";
Document doc = Jsoup.connect(url).userAgent(ua).timeout(20000).get(); 
Elements links = doc.select("a[href]");

我如何把我的java程序伪装成googlebot呢？

java

jsoup

回答 1

Stack Overflow用户

回答已采纳

发布于 2013-08-27 12:34:32

使用以下userAgent

Mozilla/5.0 (兼容；Googlebot/2.1；+http://www.google.com/bot.html)

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/18465180

复制

相似问题

问用google bot掩码java jsoup爬虫来下载网页
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问用google bot掩码java jsoup爬虫来下载网页EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问用google bot掩码java jsoup爬虫来下载网页
EN