防止机器人爬行动态javascript文件

Question

我需要防止机器人爬行.js文件。如你所知，谷歌能够抓取.js文件。只有一个.js文件，但是它会随着新的部署和更新而改变。

例如：

<script type="text/javascript" src="/7c2af7d5829e81965805cc932aeacdea8049891f.js?js_resource=true"></script>

我想确保，因为我不知道如何验证这一点，这是正确的：

// robots.txt
Disallow: /*.js$

此外，如果.js文件通过cdn提供服务，这是否相同？

Answer 1

# robots.txt
Disallow: /*.js?js_resource

这个很好用。您可以在Google网站管理员工具中测试您的robots.txt。

Answer 2

在robot.txt文件中不支持全局表达式和正则表达式。来自http://www.robotstxt.org

还要注意，在用户代理或不允许行中都不支持全局和正则表达式。用户代理字段中的'*‘是一个特殊的值，意思是“任何机器人”。具体来说，您不能有诸如“用户代理: bot”、“不允许: /tmp/*”或“不允许：*.gif”这样的行。

相反，应该将JavaScript文件移动到机器人文件中不允许的目录：

User-agent: *
Disallow: /hidden-javascript/