Python抓取URL问题

Question

我正在编写一个简单的python3脚本，以从Sourceforge.net中提取尽可能多的公共存储库。我在网址上遇到了一个奇怪的问题，我很好奇为什么会发生这样的事情：

这是我的密码

#!/usr/bin/env python3

import time
from requests import get
from bs4 import BeautifulSoup

results = []

for i in range(1,100):
    cur = 'http://sourceforge.net/directory/os%3Alinux/freshness%3Arecently-updated/?page=' + str(i)
    #print(cur + '\n')
    r = get(cur.format(i))
    soup = BeautifulSoup(r.text,'html.parser')
    results += soup.find_all('span',{'itemprop': 'name'})
    for result in results:
        print('Found Project: '.join(result.contents))
    time.sleep(.5)
    results = []

当我从url中删除/os%3 3Alinux/以便有更广泛的项目时，问题就出现了.当我这样做时，输出就是一遍又一遍的第1页的输出。似乎不会提取其他页面。有人知道为什么会发生这种事吗？另外，我从其他人那里得到了r= get(cur.format(i))，我很好奇这到底在做什么。

Answer 1

http://sourceforge.net/directory/freshness%3Arecently-updated/?page=1

不是有效的URL。它重定向到：

http://sourceforge.net/directory/os:windows/freshness:recently-updated/

因此，当您增加您的计数器，您总是重定向回相同的URL。

from bs4 import BeautifulSoup
import requests



for page in range(1, 100):
   r  = requests.get("http://sourceforge.net/directory/?page=" + str(page))
   data = r.text
   soup = BeautifulSoup(data, "html.parser")

   print soup.find_all('span',{'itemprop': 'name'})