我们网站的欺诈检测和bot拦截程序

Question

对于我们的网站，我们需要检查是否流量是真实的，而不是来自BOT或任何其他欺诈。我们应该采取什么最好的办法？

到目前为止，我们正在做两件事：

1. 解析用户代理并找出它是否是机器人。
2. 检查来自ips的点击，如果来自某个IP的点击在特定的时间达到特定的限制，我们将阻止它。

还有什么其他的事情我们可以做，是否有任何服务，我们可以调用时，我们的网站，以检查请求是否欺诈？

Answer 1

可以在网站根目录中创建Robots.txt文件。这是一个文件，它将配置哪些机器人可以访问哪些页面，哪些机器人不允许爬行。因此，在您的情况下，您可以很容易地配置，以阻止所有的爬虫，甚至包括谷歌搜索引擎。

使用此配置

User-agent: *
Disallow: / 

这个指南可能会有帮助。