googlebot爬行webservice服务

Question

有什么方法可以让googlebot不抓取用于webservice的链接吗？当我试图通过url访问我的webservice时，当没有传递任何参数时，它返回500错误。或者，当我尝试在不带参数的url中访问我的webservice时，有没有什么方法可以防止http 500错误？

谢谢。

Answer 1

您可以查看一下here来创建一个robots.txt。