绕过Cloudflare Scrapeshield

Question

我正在做一个webscraping项目，我遇到了cloudflare scrapeshield的问题。有谁知道怎么绕过它吗？我使用selenium webdriver，它被scrapeshield重定向到一些光速页面。在firefox之上使用python构建。正常浏览不会导致它重定向。webdriver和普通浏览器有什么不同吗？

Answer 1

看，scrapeshield所做的是检查你是否在使用真正的浏览器，它本质上是检查你的浏览器中的某些bug。假设Chrome不能处理一个IFrame，如果同时有一个303 error，某些web浏览器对不同的测试有不同的反应，所以webdriver不能对这些导致系统说“我们有入侵者，改变页面！”的反应。我可能是对的，虽然不是百分之百确定...

有关源代码的更多信息：

我在Defcon的一次演讲中找到了大部分关于网络嗅探器的信息，并阻止他们在服务器上获得适当的漏洞信息，他还用PHP制作了一个web浏览器标识符。