当元素确实存在时，BeautifulSoup返回'None‘

Question

首先，如果我错过了一些非常简单的东西，我道歉，我已经看了很多问题，但终生都找不到答案。

基本上，我试图收集文本的网站是这样的：

https://www.otcmarkets.com/stock/MNGG/overview

我想从显示'Dark or Defunct‘的一侧提取信息，我当前的代码如下：

url = 'https://www.otcmarkets.com/stock/MNGG/overview'
page = requests.get(url)
soup = BeautifulSoup(page.content, "html.parser")
ticker = soup.find('href', 'Dark or Defunct')

但正如标题所说，它只返回none。我哪里错了？我非常缺乏经验，所以如果可能的话，我想要一个解释。

Answer 1

它返回none，因为它在HTML页面源代码中没有提到它。该网站上的所有内容都是从JavaScript源动态加载的。BeautifulSoup的设计目的是从超文本标记语言和XML文件中提取数据，并且在提供的超文本标记语言文件中，没有提到“黑暗或更黑暗”(因此BeautifulSoup正确地找不到任何东西)。您需要使用支持JavaScript的抓取方法。参见Web-scraping JavaScript page with Python。