如何用机器人浏览器抓取“aria-label”

Question

我是网络抓取的新手，目前正在使用机器人浏览器抓取网页。我试着在某个类下刮掉'aria-label‘的值，但不知道该怎么做。

这是我的代码。

from robobrowser import RoboBrowser
browser = RoboBrowser(history=True, parser='html.parser')
browser.open('https://www.scrapingwebsite.com')
links = browser.find_all(class_='searchResult__373c0__1yggB')
for link in links:
    print(link.find(class_='big_braket_class').text)
    problem_part = link.find(class_='subsidiary_class')
    print(problem_part.get('aria-label'))

它根本不起作用。有没有办法让它工作呢？Thx

Answer 1

您可以将机器人浏览器中的内容转储到bs4中。然后在bs4 4.7.1中使用:has和:contains来确定所需项的目标。

from bs4 import BeautifulSoup
#...your code
soup = browser.parsed
data = [(item.select_one('[class*=businessName]').text.replace('\xa0',''), item.select_one('[class*="i-stars"]')['aria-label']) for item in soup.select('li:has(h3:contains("All Results")) ~ li:has([class*=businessName])')]
print(data)

结果示例：

​

​