不能使用BeautifulSoup在web上刮取嵌套表

Question

我一直在尝试使用requests_html、requests和BeautifulSoup在网络上刮刮requests。每当我尝试在线(使用requests.get或requests_html.HTMLSession())时，我的代码就无法在表中找到标记，如下例所示：

r = requests.get(url=url, verify=False)

soup = BeautifulSoup(r.text, 'html.parser')
div = soup.find('div', class_='collapse-3')
print(div)
#None

这个div在一个部分中。

我已经尝试渲染页面：

with HTMLSession() as session:
    r = session.get(url=url, headers=headers)

r.html.render()

div = r.html.find('div.collapse-3')
print(div)
#None

但没有成功。只有当我下载HTML并加载它时，它才能工作。

我找到了使用Selenium的这和这解决方案，但是它们不能解决问题，我需要一个不依赖Selenium的解决方案。据我所见，问题是我需要的信息在迭代表中，这阻止了我访问其中的信息。

欢迎任何建议！提前谢谢大家！

Answer 1

直接从源获取数据(返回为JSON)。然后读给熊猫听：

import requests
import pandas as pd

url = 'https://www.portaltransparencia.gov.br/licitacoes/item-licitacao/resultado'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'}
payload = {
'paginacaoSimples': 'false',
'tamanhoPagina': '1000',
'offset': '0',
'direcaoOrdenacao': 'asc',
'colunaOrdenacao': 'descricao',
'colunasSelecionadas': 'codigoItemCompra,descricao,descComplementarItemCompra,quantidade,valor,cpfCnpjVencedor,nome',
'skCompra': '205900728',
'_': '1633966570617'}

jsonData = requests.get(url, headers=headers, params=payload, verify=False).json()
df = pd.DataFrame(jsonData['data'])

输出：

print(df)
          codigoItemCompra  ...                         descComplementarItemCompra
0   1551260500022202100059  ...  ARTIGO PARA HIGIENE NO LEITO, TIPO LIMPADOR DE...
1   1551260500022202100004  ...  BANDAGEM ELÁSTICA, MATERIAL ALGODÃO, TIPO AUTO...
2   1551260500022202100003  ...  BANDAGEM ELÁSTICA, MATERIAL FITA MICROPOROSA, ...
3   1551260500022202100005  ...  BANDAGEM ELÁSTICA, MATERIAL NÃO TECIDO POROSO,...
4   1551260500022202100012  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
5   1551260500022202100010  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
6   1551260500022202100008  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
7   1551260500022202100017  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
8   1551260500022202100009  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
9   1551260500022202100016  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
10  1551260500022202100006  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
11  1551260500022202100014  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
12  1551260500022202100015  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
13  1551260500022202100013  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
14  1551260500022202100007  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
15  1551260500022202100018  ...  BOTA DE UNNA, COMPOSIÇÃO IMPREGNADA COM PASTA ...
16  1551260500022202100019  ...  CINTA ELÁSTICA, MATERIAL POLIÉSTER, TIPO ABDOM...
17  1551260500022202100020  ...  CLAMP INSTRUMENTAL, MODELO VASCULAR- BULLDOG, ...
18  1551260500022202100056  ...  COBERTURA, TIPO DE COBERTURA FILME TRANSPARENT...
19  1551260500022202100024  ...  COBERTURA, TIPO DE COBERTURA FILME TRANSPARENT...
20  1551260500022202100045  ...  CREME HIDRATANTE, COMPOSIÇÃO URÉIA E ÁCIDO LÁT...
21  1551260500022202100022  ...  CURATIVO, MATERIAL POLIURETANO, DIMENSÃO CERCA...
22  1551260500022202100035  ...  CURATIVO, TIPO HIDROCOLÓIDE, MATERIAL POLIURET...
23  1551260500022202100049  ...  CURATIVO, TIPO HIDROGEL, REVESTIMENTO REVESTID...
24  1551260500022202100038  ...  CURATIVO, TIPO HIDROPOLÍMERO, REVESTIMENTO REC...
25  1551260500022202100057  ...  CURATIVO, MATERIAL POLIÉSTER, REVESTIMENTO REV...
26  1551260500022202100040  ...  CURATIVO, MATERIAL ACETATO DE CELULOSE, REVEST...
27  1551260500022202100046  ...  CURATIVO, TIPO HIDROCOLÓIDE, MATERIAL POLIURET...
28  1551260500022202100034  ...  CURATIVO, TIPO MEMBRANA COM MICROPARTICULA DE ...
29  1551260500022202100047  ...  CURATIVO, TIPO HIDROCOLÓIDE, MATERIAL POLIURET...
30  1551260500022202100037  ...  CURATIVO, MATERIAL NÃO TECIDO, REVESTIMENTO PR...
31  1551260500022202100036  ...  CURATIVO, TIPO HIDROGEL, REVESTIMENTO REVESTID...
32  1551260500022202100025  ...  CURATIVO, TIPO HIDROGEL, MATERIAL POLIURETANO ...
33  1551260500022202100063  ...  CURATIVO, TIPO HIDROCOLÓIDE, MATERIAL POLIURET...
34  1551260500022202100051  ...  CURATIVO, TIPO HIDROGEL, REVESTIMENTO COM ALGI...
35  1551260500022202100041  ...  CURATIVO, MATERIAL POMADA, REVESTIMENTO C/ CAD...
36  1551260500022202100023  ...  CURATIVO, TIPO HIDROPOLÍMERO, MATERIAL POLIURE...
37  1551260500022202100039  ...  CURATIVO, MATERIAL NÃO TECIDO, REVESTIMENTO PR...
38  1551260500022202100029  ...  LENÇO DESCARTÁVEL, MATERIAL POLIPROPILENO E CE...
39  1551260500022202100031  ...  PELÍCULA ADESIVA, MATERIAL ADESIVO ACRÍLICO HI...
40  1551260500022202100001  ...  PELÍCULA ADESIVA, MATERIAL ADESIVO ACRÍLICO HI...
41  1551260500022202100002  ...  PLACA PERIOSTOMAL, MATERIAL DA PLACA HIDROCOLÓ...
42  1551260500022202100061  ...  POLIHEXANIDA, COMPOSIÇÃO ASSOCIADA À UNDECILAM...
43  1551260500022202100021  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO EM CREME, COM...
44  1551260500022202100033  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO EM CREME, COM...
45  1551260500022202100032  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO EM CREME, COM...
46  1551260500022202100055  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO EM PÓ, COMPOS...
47  1551260500022202100028  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO PLACA, MATERI...
48  1551260500022202100060  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO EM CREME, COM...
49  1551260500022202100054  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO EM SPRAY, COM...
50  1551260500022202100050  ...  SOLUÇÃO, TIPO À BASE DE BIGUANIDA (PHMB), CONC...
51  1551260500022202100027  ...  TERAPIA DE PRESSÃO NEGATIVA P/ FERIDAS, TIPO C...
52  1551260500022202100030  ...  ÁCIDOS GRAXOS ESSENCIAIS, COMPOSIÇÃO TCM, COMP...

[53 rows x 10 columns]

无有效载荷：

import requests
import pandas as pd

url = 'https://www.portaltransparencia.gov.br/licitacoes/item-licitacao/resultado?paginacaoSimples=false&tamanhoPagina=1000&offset=0&direcaoOrdenacao=asc&colunaOrdenacao=descricao&colunasSelecionadas=codigoItemCompra%2Cdescricao%2CdescComplementarItemCompra%2Cquantidade%2Cvalor%2CcpfCnpjVencedor%2Cnome&skCompra=205900728&_=1633967219449'

jsonData = requests.get(url, headers=headers, params=payload, verify=False).json()
df = pd.DataFrame(jsonData['data'])