硒无头:如何绕过硒探测云团

Question

希望专家能帮我解开硒/云之火的谜团。我可以让一个网站加载在正常(非无头)硒，但无论我尝试，我不能让它加载在无头。

我遵循了StackOverflow的建议，比如是否有无法检测到的硒WebDriver版本？。我还查看了window和window.navigator对象的所有属性，并修正了无头对象和非无头对象之间的所有区别，但不知怎么的，无头对象仍然被检测到。在这一点上，我非常好奇Cloudflare如何才能找出不同之处。谢谢你给我时间！

我尝试过的事情的列表：

• 用户代理
• 用色度驱动程序中的另一个字符串替换cdc_
• options.add_experimental_option("excludeSwitches", ["enable-automation"])
• options.add_experimental_option('useAutomationExtension', False)
• options.add_argument('--disable-blink-features=AutomationControlled') (这是必要的，以使网站以无头加载)
• 设置navigator.webdriver = undefined
• 设置navigator.plugins、navigator.languages和navigator.mimeTypes
• 将window.ScreenY、window.screenTop、window.outerWidth、window.outerHeight设置为非零
• 设置window.chrome和window.navigator.chrome
• 将图像的宽度和高度设置为非零
• 设置WebGL参数
• 修正Modernizr

复制实验

为了让网站加载正常(无头) Selenium，您必须遵循来自另一个网站的_blank链接(以便目标网站在另一个选项卡中打开)。要复制这个实验，首先使用内容<a href="https://poocoin.app" target="_blank">link</a>创建一个html文件，然后在下面的代码中粘贴到这个html文件的路径。

下面的版本(无标题)运行良好，并加载网站，但如果您设置options.headless = True，它将卡在Cloudflare上。

from selenium import webdriver
import time

# Replace this with the path to your html file
FULL_PATH_TO_HTML_FILE = 'file:///Users/simplepineapple/html/url_page.html'

def visit_website(browser):
    browser.get(FULL_PATH_TO_HTML_FILE)
    time.sleep(3)

    links = browser.find_elements_by_xpath("//a[@href]")
    links[0].click()
    time.sleep(10)

    # Switch webdriver focus to new tab so that we can extract html
    tab_names = browser.window_handles
    if len(tab_names) > 1:
        browser.switch_to.window(tab_names[1])

    time.sleep(1)
    html = browser.page_source
    print(html)
    print()
    print()

    if 'Charts' in html:
        print('Success')
    else:
        print('Fail')

    time.sleep(10)


options = webdriver.ChromeOptions()
# If options.headless = True, the website will not load
options.headless = False
options.add_argument("--window-size=1920,1080")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
options.add_argument('--disable-blink-features=AutomationControlled')
options.add_argument('user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36')

browser = webdriver.Chrome(options = options)

browser.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
    "source": '''
    Object.defineProperty(navigator, 'webdriver', {
        get: () => undefined
    });
    Object.defineProperty(navigator, 'plugins', {
            get: function() { return {"0":{"0":{}},"1":{"0":{}},"2":{"0":{},"1":{}}}; }
    });
    Object.defineProperty(navigator, 'languages', {
        get: () => ["en-US", "en"]
    });
    Object.defineProperty(navigator, 'mimeTypes', {
        get: function() { return {"0":{},"1":{},"2":{},"3":{}}; }
    });

    window.screenY=23;
    window.screenTop=23;
    window.outerWidth=1337;
    window.outerHeight=825;
    window.chrome =
    {
      app: {
        isInstalled: false,
      },
      webstore: {
        onInstallStageChanged: {},
        onDownloadProgress: {},
      },
      runtime: {
        PlatformOs: {
          MAC: 'mac',
          WIN: 'win',
          ANDROID: 'android',
          CROS: 'cros',
          LINUX: 'linux',
          OPENBSD: 'openbsd',
        },
        PlatformArch: {
          ARM: 'arm',
          X86_32: 'x86-32',
          X86_64: 'x86-64',
        },
        PlatformNaclArch: {
          ARM: 'arm',
          X86_32: 'x86-32',
          X86_64: 'x86-64',
        },
        RequestUpdateCheckStatus: {
          THROTTLED: 'throttled',
          NO_UPDATE: 'no_update',
          UPDATE_AVAILABLE: 'update_available',
        },
        OnInstalledReason: {
          INSTALL: 'install',
          UPDATE: 'update',
          CHROME_UPDATE: 'chrome_update',
          SHARED_MODULE_UPDATE: 'shared_module_update',
        },
        OnRestartRequiredReason: {
          APP_UPDATE: 'app_update',
          OS_UPDATE: 'os_update',
          PERIODIC: 'periodic',
        },
      },
    };
    window.navigator.chrome =
    {
      app: {
        isInstalled: false,
      },
      webstore: {
        onInstallStageChanged: {},
        onDownloadProgress: {},
      },
      runtime: {
        PlatformOs: {
          MAC: 'mac',
          WIN: 'win',
          ANDROID: 'android',
          CROS: 'cros',
          LINUX: 'linux',
          OPENBSD: 'openbsd',
        },
        PlatformArch: {
          ARM: 'arm',
          X86_32: 'x86-32',
          X86_64: 'x86-64',
        },
        PlatformNaclArch: {
          ARM: 'arm',
          X86_32: 'x86-32',
          X86_64: 'x86-64',
        },
        RequestUpdateCheckStatus: {
          THROTTLED: 'throttled',
          NO_UPDATE: 'no_update',
          UPDATE_AVAILABLE: 'update_available',
        },
        OnInstalledReason: {
          INSTALL: 'install',
          UPDATE: 'update',
          CHROME_UPDATE: 'chrome_update',
          SHARED_MODULE_UPDATE: 'shared_module_update',
        },
        OnRestartRequiredReason: {
          APP_UPDATE: 'app_update',
          OS_UPDATE: 'os_update',
          PERIODIC: 'periodic',
        },
      },
    };
    ['height', 'width'].forEach(property => {
        const imageDescriptor = Object.getOwnPropertyDescriptor(HTMLImageElement.prototype, property);

        // redefine the property with a patched descriptor
        Object.defineProperty(HTMLImageElement.prototype, property, {
            ...imageDescriptor,
            get: function() {
                // return an arbitrary non-zero dimension if the image failed to load
            if (this.complete && this.naturalHeight == 0) {
                return 20;
            }
                return imageDescriptor.get.apply(this);
            },
        });
    });

    const getParameter = WebGLRenderingContext.getParameter;
    WebGLRenderingContext.prototype.getParameter = function(parameter) {
        if (parameter === 37445) {
            return 'Intel Open Source Technology Center';
        }
        if (parameter === 37446) {
            return 'Mesa DRI Intel(R) Ivybridge Mobile ';
        }

        return getParameter(parameter);
    };

    const elementDescriptor = Object.getOwnPropertyDescriptor(HTMLElement.prototype, 'offsetHeight');

    Object.defineProperty(HTMLDivElement.prototype, 'offsetHeight', {
        ...elementDescriptor,
        get: function() {
            if (this.id === 'modernizr') {
            return 1;
            }
            return elementDescriptor.get.apply(this);
        },
    });
    '''
})

visit_website(browser)

browser.quit()

Answer 1

如果您检索用户代理，请使用最新的GoogleChromev96.0

• 对于谷歌铬浏览器，正在使用以下用户代理： Mozilla/5.0 (WindowsNT10.0；Win64；x64) AppleWebKit/537.36 (KHTML，类似壁虎) Chrome/96.0.4664.110 Safari/537.36
• 对于谷歌铬无头浏览器，正在使用以下用户代理： Mozilla/5.0 (WindowsNT10.0；Win64；x64) AppleWebKit/537.36 (KHTML，类似壁虎)

在大多数情况下，附加的无头字符串/参数/属性的存在被截获，因为bot和云焰阻止了对网站的访问。

解决方案

即使在无头模式下使用Chrome，也有不同的方法可以避免云耀斑的检测，其中一些有效的方法如下：

• 一个有效的解决方案是使用https://pypi.org/project/undetected-chromedriver/初始化Chrome浏览上下文。未检出-显色剂是一个优化的Selenium修补程序，它不触发反bot服务，比如提取网络/ Imperva / DataDome / Botprotect.io。它自动下载驱动程序二进制文件并对其进行修补。

从selenium导入webdriver = webdriver.ChromeOptions() options.headless = True options.add_argument(“启动-最大化”)

- Code Block:

“启用-自动化”)驱动程序= uc.Chrome(options=options) driver.get('https://bet365.com')

您可以在以下网站找到几个相关的详细讨论：

• Selenium应用程序重定向到Heroku托管的Cloudflare页面
• 有没有可能绕过cloudflare的安全检查？
• 最有效的解决方案是使用https://github.com/diprajpatra/selenium-stealth初始化Chrome浏览上下文。https://pypi.org/project/selenium-stealth/是一个防止检测的python包。这个程序试图使蟒蛇硒更隐秘。

options.add_experimental_option("excludeSwitches"，(“--无头”)options.add_argument(“启用-自动”)驱动程序= webdriver.Chrome(options=options，executable_path=r"C:\path\to\chromedriver.exe")隐身(驱动程序，languages="en-US"，"en“)，vendor="Google Inc.“、platform="Win32”、webgl_vendor="Intel Inc.“、renderer="Intel Iris OpenGL Engine”、fix_hairline=True )driver.get(“https://bot.sannysoft.com/"”)

您可以在以下网站找到几个相关的详细讨论：

• 网站能检测到什么时候你使用Selenium和色度驱动器吗？
• 如何自动登录到正在检测到我试图使用selenium-隐形登录的站点。

Answer 2

cloudflare保护宫内节育器主要用于避免ddos攻击，因此它还保护站点不受自动bot攻击，因此无论您在客户端使用什么，cloudflare服务器都会对您进行指纹识别。在此之后，他们向客户端发送一个cf_clearance，允许您在接下来的15分钟内进行连接。

​

​

Answer 3

@未被检测到的Selenium的答案在https://github.com/diprajpatra/selenium-stealth中非常有效

如果使用的是最新版本的selenium，则需要在executable_path参数折旧后更改它，示例代码如下：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium_stealth import stealth

options = webdriver.ChromeOptions()
options.add_argument("start-maximized")
options.add_argument("--headless")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)

s=Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=s, options=options)

stealth(driver,
        languages=["en-US", "en"],
        vendor="Google Inc.",
        platform="Win32",
        webgl_vendor="Intel Inc.",
        renderer="Intel Iris OpenGL Engine",
        fix_hairline=True,
)

driver.get("https://bot.sannysoft.com/")

print(driver.find_element(By.XPATH, "/html/body").text)

driver.close()