开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >处理远程:真正的链接和搜索机器人

问处理远程:真正的链接和搜索机器人
EN

Stack Overflow用户

提问于 2014-12-03 20:03:47

回答 1查看 74关注 0票数 2

我经常使用remote: true链接。在大多数情况下，响应可以是js或html，因此搜索机器人不会造成问题

但有些链接纯粹是js响应，没有HTML响应(这会导致异常和错误，导致大量监控工具、电子邮件、警报等)

我如何设置链接，使搜索机器人(谷歌，冰，其他爬虫)不会尝试它？

或者-是否有一种类型的响应我应该返回，以便爬虫知道不要返回到那个url？

google-crawlers

ruby-on-rails-4

EN

回答 1

Stack Overflow用户

发布于 2014-12-08 18:52:20

rel="nofollow"是你可以放在链接上的东西。这应该可以防止像谷歌这样的机器人抓取他们的https://support.google.com/webmasters/answer/96569?hl=en

票数 1

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/27271332

复制

相似问题