首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >抓取href链接并从这些链接中抓取

问抓取href链接并从这些链接中抓取
EN

Stack Overflow用户
提问于 2019-09-29 03:11:51
回答 1查看 153关注 0票数 0

我正在做python抓取,我试图获取href标签之间的所有链接,然后逐个访问,从这些链接中抓取数据。我是一个新手,不知道如何从this.The代码继续:

代码语言:javascript
复制
 import requests
    import urllib.request
    import re
    from bs4 import BeautifulSoup
    import csv

    url = 'https://menupages.com/restaurants/ny-new-york'
    url1 = 'https://menupages.com'
    response = requests.get(url)
    f = csv.writer(open('Restuarants_details.csv', 'w'))

    soup = BeautifulSoup(response.text, "html.parser")

    menu_sections=[]
    for url2 in soup.find_all('h3',class_='restaurant__title'):
    completeurl = url1+url2.a.get('href')
    print(completeurl)

    #print(url)
EN

回答 1

Stack Overflow用户

发布于 2019-09-29 03:48:16

如果你想抓取从第一页获得的所有链接,然后抓取从这些链接获得的所有链接,等等,你需要一个递归函数。

下面是一些帮助您入门的初始代码:

代码语言:javascript
复制
if __name__ == "__main__":
    initial_url = "https://menupages.com/restaurants/ny-new-york"
    scrape(initial_url)

def scrape(url):
    print("now looking at " + url)
    # scrape URL
    # do something with the data

    if (STOP_CONDITION):  # update this!
        return

    # scrape new URLs:
    for new_url in soup.find_all(...):
        scrape(new_url, file)

这个递归函数的问题是,它不会停止,直到页面上没有链接,这可能不会很快发生。您将需要添加一个停止条件。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/58149497

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档