Web爬虫错误

Question

我对Python完全陌生。我在一月份开始实习，他们希望我在开始之前尽可能快地学习Python。所以我做了这个网络爬虫只是为了练习，我很确定我的代码是好的。我有下面的代码，我可以发布它所引起的错误，但是它实际上是值得的，所有的错误都来自请求包。我能修好这个吗？是我的代码还是有更深层次的东西在发生？

(我在这个窗口中格式化代码有问题，但是在我的实际编辑器中都是正确格式化的，没有语法错误)

码

import requests
from bs4 import BeautifulSoup


def trade_spider(max_pages):
    page = 1
    while page <= max_pages:
        url = 'https://www.thenewboston.com/forum/recent_activity.php?page=' + str(page)
        source_code = requests.get(url)
        plain_text = source_code.text
        soup = BeautifulSoup(plain_text)
        for link in soup.findAll('a', {'class': 'title'}):
            href = link.get('href')
            print(href)
        page += 1

trade_spider(3)

误差

所有的错误都来自于这个文件: C:\Python34\lib\site-packages\requests\packages\urllib3\connectionpool.py

文件中的一堆小错误

也是这个错误

requests.exceptions.SSLError: SSL: CERTIFICATE_VERIFY_FAILED证书验证失败(_ssl.c:600)

可能的结论

因为这些错误都不在我的代码中，而且它们都在请求包中，所以我猜这个包是坏的还是什么的，或者我的软件或者请求包已经过时了？

任何帮助都是非常感谢的。我只是想学习一些Python，如果我能创建一个功能良好的web爬虫，我会非常高兴的。

Answer 1

使用source_code = requests.get(url, verify=False)禁用SSL检查。