文章/答案/技术大牛

发布

社区首页 >问答首页 >允许Google只索引我想要的页面

问允许Google只索引我想要的页面
EN

Stack Overflow用户

提问于 2017-09-20 09:33:48

回答 1查看 41关注 0票数 0

我有一个大的网站(40,000+页面)，并希望最小化的网页水平，谷歌正在索引，即我希望只索引500页。

我似乎只能找到不索引页面的选择，而对我来说，不索引39500页是没有意义的。

我的Robots.txt文件的一个例子。

User-agent: *
Noindex:  /category/long-site-url-1/
Noindex:  /
Noindex:  /site-url-2/
Noindex:  /site-url-3/

Sitemap: https://sitedomain/sitemap.xml

发布于 2017-09-22 06:12:02

Noindex in robots.txt is/was only an experimental feature (从未记录/指定)。

您应该在HTML中添加meta-robots元素，或者为每个受影响的页面发送header：

<meta name="robots" content="noindex" />

X-Robots-Tag: noindex

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/46318385

复制

相似问题

问允许Google只索引我想要的页面EN