服务器如何检测是否正在发出某种自动http请求？

Question

我正在使用Python的请求库进行一些测试http请求。在搜索沃尔玛的加拿大网站(www.walmart.ca)时，我得到了以下信息：

​

​

像沃尔玛这样的服务器如何检测到我的请求是以编程方式提出的？我理解浏览器向服务器发送各种元数据。我希望能得到一些具体的例子，说明这通常是如何做到的。我发现了一个类似的问题，尽管与Selenium驱动程序( 这里 )有关，它声称有一些供应商提供这种服务，但我希望得到一些更具体的信息。

谢谢你的洞察力。

Answer 1

正如注释中提到的，真正的浏览器发送许多不同的值-头、cookie、数据。它不仅从服务器读取HTML，还从图像、CSS、JS、字体读取。浏览器还可以运行JavaScript，它可以获得有关浏览器版本、扩展、本地存储中的数据等(即如何移动鼠标)的其他信息。和真实的人工加载/访问页面的随机延迟，而不是以随机顺序。所有这些元素都可以用来检测脚本。服务器可能使用非常复杂的系统，甚至机器学习(人工智能)，并使用几分钟或几个小时的数据来比较您的行为。