获得由webapp提供的pdf文件

Question

我想下载多个pdf文件的旧报纸。特别是看起来像这或这的文件。我的问题是，当我试图用requests或wget自动化这个过程时，因为站点没有提供一个实际的pdf文件，所以我无法获得实际的文件。

有什么方法可以使这个过程自动化并用Python下载实际文件吗？

Answer 1

对于这个特定的网页，页面是从一个可预测的网址提供的：

• 001.pdf
• 002.pdf
• 等

这是非常正常的，我甚至不会为这个问题从页面中提取它:我只需要自己生成url，为每个url做一个requests.get()，并将它们与PyPdf2连接在一起。

更普遍的问题是:我是怎么知道这个网址的？看看浏览器的devtools：

​

​

一般方法

对于这类问题，基本上有两种解决办法：

• 从页面中提取所需的参数(查看页面如何构建它所需的urls )，或
• 使用selenium之类的内容运行一个真正的浏览器，并将其自动化。

有时候你很幸运，并且有一个真正的api来帮助你做到这一点。在查看这样的公共档案数据时，这是很常见的(在法国，BNF的apis很好，但是我不知道什么，如果有的话，将是意大利的等价物)。