Lucene.NET和外部站点

Question

我们已经建立了一个使用Lucene.NET进行搜索的网站。我们最近集成了另一个网站，所以从用户的角度来看，这两个网站似乎只是一个网站！(我们共享主页，等等)

我们的问题是两个网站托管在不同的位置。因此，当Lucene.NET爬行第一个网站时，它不会选择第二个网站的内容。我们希望从第二个网站中提取内容，并将其放入为第一个网站构建的相同索引文件中。

如何让Lucene.NET也抓取外部站点？

谢谢

Answer 1

如果您有第二个系统的文件系统访问权限，则只需提供路径即可进行索引。如果没有，你将需要编写一个爬虫，你可以从使用HttpWebRequest的一些基本的东西开始，或者通过使用使用链接等递归抓取站点的some tools来变得更有趣。