具有深度分析技能的PDF爬虫

Question

我试图建立一个pdf爬虫为企业的年度报告-这些报告是pdf文件与大量的文本和表格也很多。

将pdf转换成txt没有任何问题，但我的实际目标是搜索特定的关键字(例如，收入、利润)，并将数据REVENUE 1.000.000.000欧元提取到数据框中。

我尝试了不同的库，特别是tabula-py和PyPDF2，但我找不到一个聪明的方法来做到这一点-有人能帮我制定一个策略吗，那就太棒了！

致以最好的问候，罗宾

Answer 1

从PDF中提取数据是一件棘手的事情。虽然有PDF standards ，但并不是所有的PDF都是一样的。如果您已经能够以文本形式提取所需的数据，则可以使用RegEx提取所需的数据。

亚马逊有一个名为Textract的机器学习工具，你可以在Python语言中与他们的boto3 SDK一起使用。然而，这是一项“按次付费”的服务。与使用Textract到正则表达式的主要区别是，Textract可以识别和格式化数据对和表格，这应该意味着创建您的“爬虫”更快，并且如果您的PDF向前更改，更不容易被破坏。

有一个名为Textract的Python包，但它与亚马逊网络服务提供的包不同，相反，它是一个使用pdftotext (默认)或pdfminer.six的包装器(对于PDF)。检查它是值得的，因为它可能会以更好的格式生成您的数据。