网络爬虫对所发现网页的分析

Question

我写了一个简单的网络爬虫。我得到了所有的网站，但他们在我的硬盘上。现在我想分析它们，这样我就可以编写一个简单的接口，如www.google.de，并在获取的页面中搜索信息。

问题是如何以“快速”的方式找到重要的信息。所以计算很重要。它可以是实时的，也可以是在获取之后。我的想法是写一本包含英语单词列表的字典，然后统计词条。或者该怎么做？我需要讲解如何提取信息并压缩它们。但我不知道该去哪里找。

该爬虫是基于c++与mysql中存储链接的地方。

我希望我的问题是清楚的。:D

顺便说一句，我的英语不好，但德语里有这样一块板：

Answer 1

信息检索是一门复杂的学科。

你有没有看过任何标准文本？像这样：

由Christopher D. Manning，Prabhakar Raghavan和Hinrich Schütze所著的Introduction to Information Retrieval (2008年7月7日)-- http://www.amazon.com/Introduction-Information-Retrieval-Christopher-Manning/dp/0521865719/ref=sr_1_1?s=books&ie=UTF8&qid=1305573574&sr=1-1

《信息检索:实现和评估搜索引擎》，作者: Stefan Büttcher，Charles L.A.Clarke和Gordon V. Cormack (2010年7月23日)- http://www.amazon.com/Information-Retrieval-Implementing-Evaluating-Engines/dp/0262026511/ref=sr_1_3?s=books&ie=UTF8&qid=1305573574&sr=1-3

在亚马逊上搜索“信息检索”可以获得更多信息。

你也可以看看我对Design Question for Notification System的回答，它概述了一个用于搜索的爬行式网站的一般架构。