AttributeError: web爬取器中的“”NoneType“”对象没有属性“”findAll“”

Question

我正在制作一个网页抓取程序，但这是我第一次。我使用的教程是为python 2.7构建的，但我使用的是3.8.2。我大部分时间都在编辑我的代码，使其适合python 3，但是弹出一个错误，我无法修复它。

import requests
import csv
from bs4 import BeautifulSoup

url = 'http://www.showmeboone.com/sheriff/JailResidents/JailResidents.asp'


response = requests.get(url)
html = response.content
soup = BeautifulSoup(features="html.parser")

results_table = soup.find('table', attrs={'class': 'resultsTable'})

output = []


for row in results_table.findAll('tr'):


    output_rows = []

    for cell in tr.findAll('td'):

        output_rows.append(cell.text.replace(' ', ''))


    output.append(output_rows)



print(output)

handle = open('out-using-requests.csv', 'a')
outfile = csv.writer(handle)
outfile.writerows(output)

我得到的错误是：

Traceback (most recent call last):
  File "C:\Code\scrape.py", line 17, in <module>
    for row in results_table.findAll('tr'):
AttributeError: 'NoneType' object has no attribute 'findAll'

我使用的教程是https://first-web-scraper.readthedocs.io/en/latest/

我试着问了一些其他问题，但都没有帮助。

请帮帮我！

编辑:没关系，我得到了一个很好的答案。

Answer 1

如果没有找到匹配项，find将返回None。在尝试查找其中的任何子元素之前，您需要对其进行检查：

results_table = soup.find('table', attrs={'class': 'resultsTable'})
output = []

if results_table:
    for row in results_table.findAll('tr'):
        output_rows = []

        for cell in tr.findAll('td'):

            output_rows.append(cell.text.replace(' ', ''))


        output.append(output_rows)

Answer 2

该错误允许以下结论：

results_table = None 

因此，您无法访问findAll()方法，因为None.findAll()不存在。

你应该看一看，最好是使用调试器来运行你的程序，看看变量是如何逐行变化的，以及为什么上面提到的一行只返回‘None’。特别重要的是这一行：

results_table = soup.find('table', attrs={'class': 'resultsTable'})

因为此行中的表被初始化为yes，所以这里分配了上面的none'' value is returned and results_table '‘。