Python请求块数据

Question

我试图废除一个包含python请求库的站点，但它正在分块我的数据。所讨论的站点有点奇怪，从帖子中返回html，当我读取响应时，请求只打印页面的1/5。这是代码：

import requests
LIST_ITEMS_URL = 'http://www.solicitador.org/vendas/consultas/ListaBens.jsp'

r = requests.post(LIST_ITEMS_URL, 
            data = {
                'iddistrito': 13, 
                'idconcelho': 6, 
                'tipo_bem':1,
                'pageOri': 'PesquisaAvancada.jsp'
            }, headers = {
                'Content-Type' : 'application/x-www-form-urlencoded',
                'Content-Length' : '111',
                'Cookie' : 'JSESSIONID=0002K67DUGhI4ioO6eE3oCeKYSQ:-G1B89M',
                'Upgrade-Insecure-Requests' : '1'
            }
    )
print r.content

另外，如果我使用浏览器API客户端，响应大小为31 KBytes，只有+- 8192字节的请求。

有人知道是什么限制了这里的反应吗？

Answer 1

你的代码中没有分页。快速浏览页面就会发现，在POST请求中使用currentPage参数可能会得到其余的页面。currentPage:1获得第二页，currentPage:2获得第三页，依此类推。

我在给出的例子中发现了一些问题：

• 从标题中删除cookie &内容长度字段。
• 删除数据。

员额结果应该是完整的。