嗨,我想知道为什么我的应用程序会给我这个错误,我已经尝试了所有我在谷歌找到的东西,但仍然不知道为什么会这样
import requests
from bs4 import BeautifulSoup
URL = 'https://www.amazon.co.uk/XLTOK-Charging-Transfer-Charger-Nintendo/dp/B0828RYQ7W/ref=sr_1_1_sspa?dchild=1&keywords=type+c&qid=1598485860&sr=8-1-spons&psc=1&spLa=ZW5jcnlwdGVkUXVhbGlmaWVyPUE3TDNSNUlITUNKTUMmZW5jcnlwdGVkSWQ9QTAwNDg4MTMyUlFQN0Y4RllGQzE2JmVuY3J5cHRlZEFkSWQ9QTAxNDk0NzMyMFNLSUdPU0taVUpRJndpZGdldE5hbWU9c3BfYXRmJmFjdGlvbj1jbGlja1JlZGlyZWN0JmRvTm90TG9nQ2xpY2s9dHJ1ZQ=='
headers = {"User-agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'}
page = requests.get(URL, headers=headers)
soup = BeautifulSoup(page.content, 'html.parser')
title = soup.find(id="productTitle")
print(title)当被调用时:
C:\Proyecto nuevo>Python main.py
None所以,如果有人愿意帮助我,那就太棒了!
发布于 2020-08-27 20:15:55
如果你看一下网页代码(你正在尝试抓取的代码),你会发现几乎所有的javascript都是在网页加载时填充的。requests库得到了这段代码,但没有运行它。你的"find title“得不到任何东西,因为代码不包含它。
要抓取这个页面,你必须在它上面运行javascript。您可以查看python中的Selenium WebDriver来实现这一点。
https://stackoverflow.com/questions/63615324
复制相似问题