我有以下刮刀:
from selenium import webdriver
class ScraperSelenium:
def __init__(self):
self._driver = self.get_driver()
def __enter__(self):
return self
def __exit__(self, type, value, traceback):
self._close_browser()
def get_driver(self):
options = webdriver.FirefoxOptions()
options.add_argument('--user-agent="Mozilla/5.0 (Windows Phone 10.0; Android 4.2.1; Microsoft; Lumia 640 XL LTE) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.135 Mobile Safari/537.36 Edge/12.10166"')
options.add_argument("--blink-settings=imagesEnabled=false")
options.add_argument("--log-level=3")
options.add_argument("--ignore-certificate-errors")
options.add_argument("--ignore-ssl-errors")
options.add_argument("no-sandbox")
return webdriver.Firefox(options=options, executable_path=<geckodriver_path>)
def scrape_html(self, url):
self._driver.get(url)
return self._driver.page_source
def _close_browser(self):
self._driver.quit()
with ScraperSelenium() as scraper:
html = scraper.scrape_html("https://www.atptour.com/en/rankings/singles")然而,当我运行它,刮刀会被重定向到一个不可靠的比特币投资网站。
对可能发生的事有什么想法吗?
发布于 2022-01-12 03:06:30
考虑到这是一个非常基本的脚本,尝试在不同的浏览器(Chrome)上运行它,如果发生相同的结果,在不同的系统中尝试它。
如果它在Chrome上工作,很可能您的Firefox设置已经被第三方应用程序或病毒改变了,所以请仔细检查它们。
如果它不能在Chrome上工作,它很可能在不同的系统上工作,但是你应该检查你的DNS设置。
https://stackoverflow.com/questions/70675412
复制相似问题