美女汤收到超时消息

Question

我想得到一个有漂亮汤的网站的搜索结果。网址是：https://www.wg-gesucht.de/wg-zimmer-in-Muenster.91.0.1.0.html

当你在浏览器中访问网站时，你会看到没有登录的搜索结果等等。然而，当我打印结果时，我从网站上得到一个错误：“Ihre Anfrage scheint abgelaufen zu。”

"<h4 class="modal-title text-info text-uppercase" id="time_out_modal_label">
                    Ihre Anfrage scheint abgelaufen zu sein.
                </h4>"

然后它告诉您重新加载页面，然后再试一次。

def getPage(search_url):
   resp = requests.get(search_url)
   return BeautifulSoup(resp.content, 'html.parser')

Answer 1

通过requests加载页面似乎是正常的。当我查看源代码时，会看到Ihre Anfrage scheint abgelaufen zu sein.模式对话框，但是它存在于每个请求中(并且隐藏在普通浏览器中)：

import requests
from bs4 import BeautifulSoup

url = ' https://www.wg-gesucht.de/wg-zimmer-in-Muenster.91.0.1.0.html'

soup = BeautifulSoup(requests.get(url).text, 'html.parser')

for headline in soup.select('h3.headline.noprint'):
    print(headline.get_text(strip=True))

指纹：

WG Zimmer in perfekter Lage
Möbliertes 17 qm Zimmer direkt am Hafen, zentral
WG-Zimmer in der Innenstadt
WG-Zimmer im Kreuzviertel
Schönes WG-Zimmer zur Zwischenmiete in zentraler Lage
Zimmer frei am Aasee!
Kleines, aber feines möbliertes WG-Zimmer im Zentrum ab dem 01.09
zentrales 14 qm Zimmer frei zur Zwischenmiete bis Oktober
Großes möbliertes Zimmer in 2er WG zur Zwischenmiete
25 m² Zimmer in 3er WG im Zentrum MS
Schönes WG-Zimmer zur Zwischmiete :)
17 qm am Hafen in 4er WG
WG im Gievenbeck zur Untermiete
Möbliertes WG-Zimmer zur Zwischenmiete in TOP Lage
Zwischenmiete einen Monat in 3er WG  Centrums- und Bahnhofsnähe
Perfekt als Übergang zur Wohnungssuche! Möbliertes 18 qm Zimmer für September in netter 3er WG, direkt im Kreuzviertel
WG-Zimmer zur Zwischenmiete in perfekter Lage
Preisgünstiges Zimmer im Kreuzviertel
Helles 22qm-Zimmer in sehr zentraler Berufstätigen-WG
Modernes WG-Zimmer in 4-er WG