解析网页以建立索引
解析网页以建立索引
提问于 2013-03-22 00:12:47
我正在尝试理解/优化网站索引的逻辑。我是HTML/JS方面的新手，所以我会边学边学。在索引站点时，我会根据每个页面上的链接递归地深入站点。一个问题是页面有重复的URL和文本，比如页眉和页脚。对于URL，我有一个我已经处理过的URL列表。我可以做些什么来识别在每一页上重复的文本？我希望我的解释足够清楚。我目前有代码(在python中)来获取该站点的有用URL列表。现在，我正在尝试对这些页面的内容进行索引。是否有更好的逻辑来识别或跳过这些页面上的重复文本(如页眉、页脚、其他格式回复)。我正在使用BeautifulSoup + requests模块。
回答 1
Stack Overflow用户
回答已采纳
发布于 2013-03-22 00:16:00
我不太确定这是否是您所希望的，但可读性是一种流行的服务，它只解析页面中的“有用”内容。这是集成到用于ios的safari中的服务。
它智能地获取页面中有价值的内容，而忽略页脚/页眉/广告等内容
有针对python/ruby/php和其他语言的开放源码端口。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/15552680
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号