识别访问网站中隐藏链接的用户

Question

最近，我把一些隐藏的链接，在一个网站，以诱捕网络爬虫。(使用CSS可见性隐藏样式，以避免用户访问它)。

无论如何，我发现有很多HTTP请求引用了访问隐藏链接的浏览器。

E.g : "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31"

所以现在我的问题是：

(1)这些是网络爬虫吗？不然还能是什么？

(2)他们是否恶意？

(3)有没有办法描述他们的行为？

我在网上搜索，但找不到任何有价值的信息。请您给我提供一些资源，否则任何帮助将不胜感激。

Answer 1

1. 他们很可能在你的网站上爬行。它们几乎可以肯定地提出了自动请求，而不是像通常的web浏览器那样呈现页面的内容。web客户端可以报告他们喜欢的任何用户代理，并且可能试图隐藏这样一个事实:当他们报告通常与web浏览器相关的用户代理时，它们是自动的(比如您发布的浏览器，它看起来像运行在64位Windows 7上的Chrome )。
2. 可能不会。向web服务器发出请求不是恶意活动，除非这些请求包含某种类型的漏洞。请求收集有关网站的信息并不是恶意的，即使其意图是将该信息用于恶意目的。
3. 通过根据IP地址和用户代理对web日志中的条目进行分组，您可以了解：- 。
   • 客户端是否正在爬行您的站点
   • 爬行模式(宽度优先、深度优先或随机)
   • 客户端是否试图对您的网站进行指纹识别(例如，对不存在的资源发出大量请求，或者对已知存在漏洞的web应用程序中存在的资源提出请求)

搜索"HoneySpam 2.0“，了解有关客户行为的更多信息。

Answer 2

所有网站应定期受到攻击，如果您没有开始攻击，请检查您的互联网连接。

如果机器人能找到一个链接，它就不会形成“隐藏”的形状或形式。恶意机器人将使用robots.txt文件枚举系统上的资源，而忽略deny指令。使用验证码可以防止自动攻击。还可以考虑密码保护“隐藏”链接。