首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >机器人中的不允许或不允许

机器人中的不允许或不允许
EN

Stack Overflow用户
提问于 2015-02-26 10:34:46
回答 2查看 1.5K关注 0票数 0

我正在使用Symfony 1.4,我希望在我的网站中禁用Google的索引,我必须使用的最佳代码是什么?

  • 机器人:无索引,无跟随
  • 机器人:不允许
EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2015-02-26 11:49:41

看一看这里

代码语言:javascript
复制
User-agent: *
Disallow: /
票数 0
EN

Stack Overflow用户

发布于 2015-02-28 03:33:06

他们做不同的事情:

  • 通过使用robots.txt,您可以不允许对站点进行爬行。
  • 通过使用meta-robots元素,您可以不允许对站点进行索引。

如果你想要一个,你就拥有另一个不能

所以你必须决定:

  • Googlebot不应该访问您的URL,但是它可能会索引您的URL(从不同的来源了解它们):使用robots.txt。
  • Googlebot不应该索引您的URL,但它可能会访问它们:使用meta-robots
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/28740096

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档