为什么BeautifulSoup无法从页面源代码中抓取完整的脚本？

Question

如果以前有人问过这个问题，我很抱歉。我对每件事都很陌生。

我正在尝试解析来自以下网站的页面。然而，抓取的结果脚本与我在Chrome上查看页面源代码时观察到的脚本并不相同。

import pandas as pd
from bs4 import BeautifulSoup as bsoup
import requests as rq

url_estates = "https://www.propertyguru.com.sg/singapore-property-listing/hdb"
headers = {"user-agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36"}
client = rq.get(url_estates, headers = headers)
client
<Response [200]>

soup = bsoup(client.content, features = "html.parser")
print(soup.prettify())

生成的脚本也要短得多，其中一半只由meta标签组成。

你知道为什么我不能根据页面来源刮掉完整的脚本吗？我读过一些帖子，其中提到，由于页面由使用javascript的动态列表组成，因此建议使用selenium。如果是这样的话，我还想了解为什么BeautifulSoup不能执行与selenium相同的功能。有没有办法在不求助于其他库的情况下抓取我想要的东西？

在此之前，非常感谢您。

Answer 1

Beautiful读取在不触发额外Javascript事件的情况下生成的HTML。Selenium是一个可用于模拟用户行为的webdriver。它们是两个不同的工具，在抓取包含动态内容的网页时可以一起使用。有关如何将各种工具捆绑在一起的解释，请参阅此blog post以帮助理解围绕抓取javascript大量站点和this SO post的问题。

也可能是你正在访问一个不允许抓取的网站，而请求返回了一条消息，说明了同样多的内容。看不到输出就很难判断。