robots.txt未更新

Question

我已经更新了一些robots.txt文件中的url和文件，以阻止google搜索结果中的url's和文件，但仍然显示在搜索结果中。根据一个站点的建议，我试图通过以下步骤更新robots.txt。

1. 在中，作为Google -> ->输入url并单击提取按钮。

但是，仍然在搜索结果中显示文件。

注意:在Google工具中，Health ->阻止URL的-> robots.txt文件-下载日期可以追溯到两个日期。

Answer 1

Googlebot需要一段时间才能爬上你的网站。这个时间量可以根据链接到您的站点的数量以及其他因素而有所不同。在您的站点被爬行后，robot.txt文件中的URL将被更新。

Answer 2

robots.txt只指定谷歌应该或不应该爬行你的网站，就像迈克说的，如果你只依靠这个向量，那么需要很长时间才能从索引中删除页面。

因此，如果您希望删除请求发生得更快，并且让Google从索引中删除页面，您还需要发出删除请求。当您使用网站管理员工具时，请访问Optimization > Remove URLs并按照说明进行操作。

Answer 3

Robots.txt只能阻止搜索引擎爬行，如果页面或文件有可爬行的页面内部或外部链接，则不会阻止索引。

要确保页面不会被索引，请应用<meta name="robots" content="noindex">。对于任何非HTML内容，如PDF的图像，请使用等效的header：X-Robots-Tag: noindex。

如果您使用这些方法，就没有必要向Google提交请求来删除它们。

更多的讨论都来自Google 这里。