使用BeautifulSoup进行网络抓取的问题

Question

我是使用beautifulSoup的新手，有一个问题；感谢您的帮助：

from bs4 import BeautifulSoup as soup
import requests

URL = 'https://www.kbb.com/car-values/'
page = requests.get(URL)
soup1 =  soup(page.content, 'html-parser')

print(soup1.prettify())

同时，我在单独的浏览器中访问URL并检查该页面，以获得该页面的HTML版本以建立模式。我找到了两个独立的模式来满足我的需求

yyyy1

和

yyyy2

P.S. xxxx1、xxxx2、yyyy1和yyyy2只是字符串

我返回到prettify()输出并搜索模式xxxx1，我找到了它，但是当我搜索模式xxxx2时，我找不到它吗？看起来soup对象没有包含HTML页面中的所有信息？或者我没有看到正确的HTML页面？我猜不出我做错了什么，怎么做对？

谢谢

Answer 1

最初需要修改才能运行您的代码，将'html-parser‘改为'html.parser’。这修复了HTMLbs4.FeatureNotFound:找不到具有您所请求的特性的树构建器：-parser。你需要安装解析器库吗？

在本地，当我尝试你的代码时，我得到了：

Access Denied
You don't have permission to access "http://www.kbb.com/" on this server.

Reference #18.afe17b5c.1587328194.c07350f 

对某些国家有限制吗？