文章/答案/技术大牛

发布

社区首页 >问答首页 >Robots.txt与Noindex标记

问Robots.txt与Noindex标记
EN

Webmasters Stack Exchange用户

提问于 2014-10-24 16:06:30

回答 1查看 189关注 0票数 2

matt认为，尽管我们使用Robots.txt阻止页面，但使用noindex标记更好。(资料来源：https://www.youtube.com/watch?v=KBdEwpRQRD0)

如果它被Robots.txt阻止，谷歌机器人如何解读它是否有索引标签？因为据我所知，如果它被Robots.txt屏蔽了，谷歌将不会在那篇文章中看到任何东西。

回答已采纳

发布于 2014-10-24 16:09:52

抓得好！如果您用robots.txt阻塞页面，那么爬虫将无法读取noindex元标记。在这种情况下，您应该通过服务器端代码或.htaccess发送x机器人标签HTTP报头。

.htaccess示例：

X-Robots-Tag: noindex

示例PHP代码：

标题(‘标签: noindex')；

票数 4

页面原文内容由Webmasters Stack Exchange提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://webmasters.stackexchange.com/questions/71351

复制

相似问题

问Robots.txt与Noindex标记EN