无法使用请求获取数据，网络选项卡中没有数据源

Question

嗨，我正在尝试使用请求模块和https://www.ubytovanienaslovensku.eu/加载BS4，但是我无法获得所需的数据。看起来数据是用js加载的，但是我无法在网络选项卡中看到任何数据源。

import requests
import bs4
import lxml
url ='https://www.ubytovanienaslovensku.eu'
res = requests.get(url)
soup = bs4.BeautifulSoup(res.content, 'lxml')
print(soup.get_text())

我看到的数据在现场加载的动态，但我没有看到任何来源的数据。

我需要网站上的清单。不仅仅是基本的html，它只有脚本标记。

Answer 1

您可以结合使用pyppeteer和asyncio从该站点异步获取清单。

import asyncio
from pyppeteer import launch

url = "https://www.ubytovanienaslovensku.eu/"

async def get_listings(link):
    wb = await launch({"headless": False})
    [page] = await wb.pages()
    await page.goto(link)
    await page.waitForSelector('#home-rentals')
    containers = await page.querySelectorAll('.rental-item')
    for container in containers:
        title = await container.querySelectorEval('span.caption','e => e.innerText')
        link = await page.evaluate('e => e.href',container)
        print(title,link)

asyncio.get_event_loop().run_until_complete(get_listings(url))

产出如下：

VIP SK Drevenica - Liptovská Štiavnica (max. 75) https://www.ubytovanienaslovensku.eu/chalupky-u-babky
VIP SK Drevenica - Mýto pod Ďumbierom (max. 28) https://www.ubytovanienaslovensku.eu/chata-zinka
VIP SK Drevenica - Liptovský Trnovec (max. 72) https://www.ubytovanienaslovensku.eu/liptovske-chaty
VIP SK Drevenica - Ružomberok (max. 90) https://www.ubytovanienaslovensku.eu/chaty-liptovo

Answer 2

它来自websocket，所以您必须搜索WS消息面板：

​

​

你将无法通过请求得到这个结果。你可以试试硒。