用Goose从HTML中提取文本(只适用于一个)

Question

我使用Goose从不同的URL中提取标题和主要文本。除了一个具体的荷兰新闻网站外，它与大多数URL一起工作。知道这里出了什么问题吗？

特定的问题URL是这里。

我的代码：

g = Goose()
content_url = g.extract(url=url)
allcontent = content_url.cleaned_text
print allcontent

我期待整篇文章，但奇怪的是，我只是从文章中随机得到以下段落。

Toerisme was een groot goed toen het een voorrecht was van de elite. Maar nu de massa in het voetspoor treedt van Floortje Dessing gaat het van kwaad tot erger. Het verplaatsen van mensen per cruiseboot of jumbojet is milieubelastend. Toeristen die de bloemetjes buiten zetten, veroorzaken geluidsoverlast in de kleine uurtjes. Toeristenplaatsen veranderen buiten het seizoen in spookoorden. En een bezoek aan de yakherders in Mongolië is een stuk minder interessant als blijkt dat de buren er twee maanden eerder ook waren geweest.

Answer 1

问题有两个原因：

1. Goose计算“main content”的方式是在html元素中，特别是它试图找到文本块，然后在html树中向上移动，并更新每个包围元素的得分。作为输出，您将收到基于内部评分的最有价值的元素。
2. 你的网页结构。如果您检查html，您将看到文章文本被放置在几个不同的html块中，因此Goose正在选择其中之一。

解决方案取决于，如果您的目标是解析这个单一的站点，那么您最好使用漂亮汤、lxml、grab等模块来单独解析文本块并将它们合并在一起。如果你有数以百万计的网站可供爬行，你只需忍受鹅给你的是什么东西。