robots.txt中的Noindex

Question

我一直阻止谷歌使用robots.txt文件为我的网站建立索引。最近，我从谷歌的一位员工那里读到一篇文章，他说你应该用元标签来做这件事。这是否意味着Robots.txt不能工作？因为我正在使用CMS，所以我的选择非常有限，使用robots.txt文件就容易多了。我的问题是，如果我继续使用robots.txt文件而不是元标记，那么最糟糕的情况是什么。

Answer 1

以下是简单术语的区别：

• robots.txt文件控制爬行。它指示机器人。(蜘蛛)正在寻找网页爬行，以“避开”某些地方。将此文件放置在网站的根目录中。
• noindex标记控制索引。它告诉蜘蛛页面不应该被索引。您将此标记放置在相关网页的代码中。

当您想要在目录级别或跨站点进行控制时，请使用robots.txt文件。但是，请记住，机器人不需要遵循这些指令。大多数人都会，比如Googlebot，但将任何高度敏感的信息排除在该网站公开访问的区域内是更安全的。

与robots.txt文件一样，noindex标记将从搜索结果中排除页面。该页面仍将被爬行，但不会被索引。当您想要在单个页面级别上进行控制时，请使用这些标记。

关于爬行和索引的区别:爬行(通过蜘蛛)是搜索引擎的蜘蛛如何跟踪你的网站；爬行的结果进入搜索引擎的索引。将这些信息存储在索引中可以加快相关搜索结果的返回速度，而不是扫描与搜索相关的每一页，而是搜索索引(较小的数据库)以优化速度。

如果没有索引，搜索引擎会查看与搜索词相关的每一个数据或信息，我们都有时间在等待搜索结果显示的同时制作和吃几个三明治。索引使用蜘蛛来保持其数据库的更新。

下面是标记的一个示例：

<meta name="robots" content="noindex,follow"/>

现在你已经阅读并理解了上述信息，我认为你可以自己回答你的问题;)

Answer 2

事实上，GoogleBot有机会允许使用：

• 无指数
• 不跟随
• 爬行延迟

但是从2019年9月开始，从GoogleBlog-新闻上看，他们将不再支持那些(使用了0,001%)命令。因此，您应该只使用元标记，这些在您的页面上是安全的未来。