Web抓取python中的多个页面并将其写入csv文件

Question

我是网络抓取的新手，我试图从这个特定网站的每个页面抓取所有视频链接，并将其写入csv文件。对于初学者，我正在尝试从这个站点抓取URL：

https://search.bilibili.com/all?keyword=%E3%82%A2%E3%83%8B%E3%82%B2%E3%83%A9%EF%BC%81%E3%83%87%E3%82%A3%E3%83%89%E3%82%A5%E3%83%BC%E3%83%BC%E3%83%B3

看完了全部19页。我遇到的问题是，相同的20个视频链接被写了19次(因为我试图浏览所有19个页面)，而不是(大约) 19组不同的URL。

import requests 
from bs4 import BeautifulSoup
from csv import writer 

def make_soup(url): 
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    return soup

def scrape_url():
    for video in soup.find_all('a', class_='img-anchor'):
        link = video['href'].replace('//','')
        csv_writer.writerow([link])

with open("videoLinks.csv", 'w') as csv_file:
        csv_writer = writer(csv_file)
        header = ['URLS']
        csv_writer.writerow(header)

        url = 'https://search.bilibili.com/all?keyword=%E3%82%A2%E3%83%8B%E3%82%B2%E3%83%A9%EF%BC%81%E3%83%87%E3%82%A3%E3%83%89%E3%82%A5%E3%83%BC%E3%83%BC%E3%83%B3'
        soup = make_soup(url)

        lastButton = soup.find_all(class_='page-item last')
        lastPage = lastButton[0].text
        lastPage = int(lastPage)
        #print(lastPage)

        page = 1
        pageExtension = ''

        scrape_url()

        while page < lastPage:
            page = page + 1
            if page == 1:
                pageExtension = ''
            else:
                pageExtension = '&page='+str(page)
            #print(url+pageExtension)
            fullUrl = url+pageExtension
            make_soup(fullUrl)
            scrape_url()

非常感谢任何帮助，我决定以这种特定的方式编写代码，这样我就可以更好地在整个BiliBili站点中推广这一点。

下面的屏幕截图显示了第一个链接总共重复了19次：

​

​

Answer 1

在倒数第二行中，您没有分配make_soup的返回值。在您的scrape_url函数中，您使用了一个名为soup的变量，但该变量只被赋值一次。

如果您将此行更改为soup = scrape_url()，则它应该可以工作。

Answer 2

试一试

soup = make_soup(fullurl)

在倒数第二行中