如何从彭博这样的安全网站中提取数据

Question

我试着在这个网址上刮些东西：

"https://www.bloomberg.com/news/articles/2019-05-30/tesla-dealt-another-blow-as-barclays-sees-it-as-niche-carmaker"

我只想得到标题和日期发布，任何你能给我的样例代码，甚至飞溅等等。

到目前为止我尝试的是

 def parse(self, response):
   yield scrapy.Request('https://www.bloomberg.com/news/articles/2019-05-30/tesla-dealt-another-blow-as-barclays-sees-it-as-niche-carmaker -H x-crawlera-use-https:1',
        headers={'X-Crawlera-Session': create,
        'X-Crawlera-Timeout': 40000,
        'X-Crawlera-Max-Retries': 5,
        'X-Crawlera-Cookies': disable,
        'X-Crawlera-Session': self.session_id
        },
        callback=self.parse_sub,
        )

 def parse_sub(self, response):
    response.xpath("//h1[@class = 'lede-text-v2__hed']").extract_first()
    response.xpath("//meta[@property = 'og:title']/@content").extract_first()
    response.xpath("//time[@class = 'article-timestamp']/@datetime").extract_first()
   print(response.text)

我也使用爬虫，但它一直在探测我作为一个机器人。

Answer 1

仅用硒来提取标题--当巴克莱称其为“利基汽车制造商”和发布日期(即2019年5月30日，5:26 PM GMT+5:30 )时，特斯拉( Tesla )又受到了打击，你必须为visibility_of_element_located()诱导WebDriverWait，你可以使用以下解决方案：

• 码块 = webdriver.Firefox(executable_path=r'C:\Utility\BrowserDrivers\geckodriver.exe') driver.get('https://www.bloomberg.com/news/articles/2019-05-30/tesla-dealt-another-blow-as-barclays-sees-it-as-niche-carmaker') print(WebDriverWait( driver，10).until(EC.visibility_of_element_located((By.XPATH，“//divtext()=‘h11’)).get_attribute(”innerHTML“)“//divtext()=‘markets’//以下: h11//following::div@class='lede-text-v2__times'/time@itemprop='datePublished'"))).get_attribute("innerHTML")) driver.quit()
• 控制台输出： 当巴克莱称特斯拉为“利基汽车制造商”时，特斯拉又受到了另一个打击，2019年5月30日下午5:26 GMT+5:30
• 注意事项：您必须添加以下导入： 从selenium导入from驱动程序从selenium.webdriver.support.ui导入WebDriverWait从selenium.webdriver.common.by导入从selenium.webdriver.support导入expected_conditions作为EC