去除robots.txt

Question

将删除robots.txt使该网站再次“可搜索”。

出于好奇，您是否有一个robots.txt来避免索引，但改变了您的想法，并希望得到索引。

Answer 1

是。搜索引擎不会永久保存您的robots.txt文件。然而，您可能需要等待一小段时间，您的网站再次爬行。

Answer 2

是。每当特定站点的蜘蛛下一次命中站点而找不到robots.txt时，它就会开始显示。不同的网站可能有不同的间隔.我知道，尤其是雅虎有一些神秘的规则，但它最终会再次出现。

Answer 3

当搜索引擎到达您的站点并开始爬行时，Robots.txt可作为搜索引擎的指南。如果你建议你已经不允许搜索引擎爬行你的网站，并决定你想要它的索引之后，你可能想要加快进程。

例如，Googlebot (Google的爬虫)使用取决于许多因素，包括"PageRank，指向页面的链接，以及爬行约束，例如URL中的参数数“，这些约束都是基于超级机密计算机算法的。

加快指数化进程的一种方法是建立一个Webmaster工具帐户(用于Google和Bing)，并提交您的Robots.txt (包括允许爬行站点)和一个XML。这意味着搜索引擎，您的网站存在和运行。