我经常在我的网站上出现以下错误:
“这是一个无效的脚本资源请求。”
当爬行器试图爬行/ScriptResource.axd或/WebResource.axd时,会发生错误。
在robots.txt中禁止这些文件很好(正如TheLukeMcCarthy建议的那样)。
用户代理:* 不允许:/网站/ScriptResource.axd 不允许:/网站/WebResource.axd
这对像Websense这样的服务来说是行不通的,因为它(粗鲁地)忽略了robots.txt。
知道如何阻止Websense试图抓取那些文件吗?
这些站点使用ASP.NET和HTML5开发,并托管在IIS7上。
提前感谢!
发布于 2013-07-23 16:46:05
我们得到了类似的东西。我唯一的想法是在IIS中转换IP地址限制,然后阻止他们的IP。(我没有亲自做过这件事,所以这只是一个主意。)
https://stackoverflow.com/questions/16597495
复制相似问题