使用Python从页面获取公司名称

Question

我想打印公司名称从谷歌金融页面，使用div类appbar-片断-主。我使用的代码不返回任何或[]。无法使用漂亮汤找到包含公司名称的span标签。

html = urlopen('https://www.google.com/finance?q=F')
soup = BeautifulSoup(html, "html.parser")
x = soup.find(id='appbar-snippet-primary')
print(x)

谢谢你的解释。我已经按照您的建议更新了代码，并包含了股票价格，创建了一个循环，然后将信息存储在字典中。

from bs4 import BeautifulSoup
import requests

x = ('F', 'GE', 'GOOGL')
Company = {}

for i in x:
    head = {"User-Agent":"Mozilla/5.0 (X11; Linux x86_64)  AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"}
    html = requests.get('https://www.google.com/finance?q=%s' % (i) ,   headers=head).content
    soup = BeautifulSoup(html, "html.parser")
    c = soup.find("div", class_="appbar-snippet-primary").text
    p = soup.find('span',class_='pr').span.text
    Company.update({c : p})
for k, v in Company.items():
print('{:<30} {:>8}'.format(k,v))

Answer 1

这是一个类，不是一个ID

您感兴趣的元素如下所示

<div class="appbar-snippet-primary">
    <span>Ford Motor Company</span>
</div>

因此，这是一个带有div的class="appbar-snippet-primary"，而不是像您的代码所暗示的id="appbar-snippet-primary"。

该值不在原始HTML中，它要求JS首先执行

然而，还有一个更深层次的问题，就是直到页面上的JavaScript运行时才设置div，所以下载原始BeautifulSoup并在其上运行BeautifulSoup是不可能的，因为那时JS还没有被执行。

该原始HTML中的script标记之一包含：var _companyName = 'Ford Motor Company';，因此如果坚持使用原始HTML，则可以为该_companyName =进行grep。

使用硒

您可以使用硒，因为它引导实际的浏览器并运行JS，然后您可以使用它的class找到该元素。

from __future__ import print_function

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Firefox()
driver.get("https://www.google.com/finance?q=F")

div = driver.find_element_by_css_selector('.appbar-snippet-primary')
company_name = div.text
print(company_name)

driver.close()

我得到：

Ford Motor Company