我正在做python抓取,我试图获取href标签之间的所有链接,然后逐个访问,从这些链接中抓取数据。我是一个新手,不知道如何从this.The代码继续:
import requests
import urllib.request
import re
from bs4 import BeautifulSoup
import csv
url = 'https://menupages.com/restaurants/ny-new-york'
url1 = 'https://menupages.com'
response = requests.get(url)
f = csv.writer(open('Restuarants_details.csv', 'w'))
soup = BeautifulSoup(response.text, "html.parser")
menu_sections=[]
for url2 in soup.find_all('h3',class_='restaurant__title'):
completeurl = url1+url2.a.get('href')
print(completeurl)
#print(url)发布于 2019-09-29 03:48:16
如果你想抓取从第一页获得的所有链接,然后抓取从这些链接获得的所有链接,等等,你需要一个递归函数。
下面是一些帮助您入门的初始代码:
if __name__ == "__main__":
initial_url = "https://menupages.com/restaurants/ny-new-york"
scrape(initial_url)
def scrape(url):
print("now looking at " + url)
# scrape URL
# do something with the data
if (STOP_CONDITION): # update this!
return
# scrape new URLs:
for new_url in soup.find_all(...):
scrape(new_url, file)这个递归函数的问题是,它不会停止,直到页面上没有链接,这可能不会很快发生。您将需要添加一个停止条件。
https://stackoverflow.com/questions/58149497
复制相似问题