去除网页中的噪声

Question

我正在试着从网页中去除噪音。但是因为我是新手，所以我不知道从哪里开始。因此，如果任何人能给我任何关于如何做的信息，这将是非常有帮助的。

噪音链接、版权声明等。

苏丹书

Answer 1

Boilerpipe似乎就是你想要的：http://code.google.com/p/boilerpipe/

BoilerPipe库提供了算法来检测和去除网页主要文本内容周围的多余“杂乱”(样板，模板)。

该库已经为常见任务提供了特定的策略(例如:新闻文章提取)，并且还可以很容易地针对个别问题设置进行扩展。