如何告诉搜索引擎使用我更新的robots.txt文件？

Question

以前，我已经阻止了搜索引擎机器人，以防止使用robots.txt文件爬行我的网站，但现在我想取消阻止它们。

我更新了robots.txt文件，并允许搜索引擎机器人爬行我的网站，但搜索引擎似乎仍然使用我的旧robots.txt文件，我如何告诉搜索引擎使用我的新robots.txt文件？或者是我的robots.txt文件有什么问题？

我的旧robots.txt文件的内容：

User-agent: *
Disallow: /

我的新robots.txt文件的内容：

User-agent: *
Allow: /

# Disallow these directories, url types & file-types
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-
Disallow: /cgi-bin
Disallow: /readme.html
Disallow: /license.txt
Disallow: /*?*
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*/wp-*
Disallow: /*/feed/*
Disallow: /*/*?s=*
Disallow: /*/*.js$
Disallow: /*/*.inc$

Allow: /wp-content/uploads/

User-agent: ia_archiver*
Disallow: /

User-agent: duggmirror
Disallow: /

Sitemap: https://example.com/sitemap.xml

Answer 1

将需要为每个搜索引擎独立完成，否则它可能会随着时间的推移而发生。对于Google，请使用Google搜索控制台工具。这将允许您上传新的robots.txt并提交以进行重新爬网。