如何没有索引特定的网址？

Question

我在搜索如何没有索引特定的URL，但我没有找到任何具体的信息，以下。

通过添加以下内容

<?php if(is_single(X)): ?>
<meta name="robots" content="noindex,nofollow">
<?php endif; ?>

我将无法索引(X)，其中X可以是post ID，帖子标题的“hello”，或者一个“hello-world”的帖子片段。

如果有可能的话，是否可以指定所有以相同的词组或标题开头的URL，如下面的示例所示？

www.test.com/REF-123-mytest.html
www.test.com/REF-123-yourtest.html
www.test.com/REF-123-histest.html

我可以省略所有以参考文件123开头的URL吗？

Answer 1

通过使用robots.txt，您可以不允许爬行。

通过使用meta-robots (或header X-Robots-Tag)，您可以不允许索引。

如果您打算禁止索引，you shouldn’t将不允许robots.txt中的URL，否则机器人将永远不会知道您不希望这些URL被索引。

如果您希望不允许爬行，您可以使用这个robots.txt：

User-agent: *
Disallow: /REF-123

这将适用于路径以REF-123 (区分大小写的！)开头的所有URL。

如果您希望不允许索引，可以在所有这些页面中添加此meta元素。

<meta name="robots" content="noindex">

或发送相应的header X-Robots-Tag

X-Robots-Tag: noindex

Answer 2

可以在robots.txt文件中添加此规则：

Disallow: www.test.com/REF-123*