文章/答案/技术大牛

发布

社区首页 >问答首页 >有没有可以重用的Url Spider组件？

问有没有可以重用的Url Spider组件？
EN

Stack Overflow用户

提问于 2012-05-02 20:50:08

回答 1查看 176关注 0票数 1

我想建立一个蜘蛛工具，我可以运行它在一个网站的根网址，然后它应该找到所有的破坏和健康的链接(图片，css，.aspx，.docs)通过指定的解析程度，例如2级。

最后，它应该以Xml或DataTables格式生成结果的映射。

是否有现成的第三方或免费工具可供我在.NET应用程序中重用？

非常感谢，

发布于 2012-05-02 21:00:07

我以前用过Chilkat的ASP.Net爬虫组件。它允许您指定要爬行的级别数量，并允许您设置排除等。

它不会自动为您生成映射(至少我使用的版本不会)，但是将结果记录到数据库或XML应该相当容易。组件的详细信息可以在here中找到，您可以从here免费下载该组件

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/10414129

复制

相似问题

问有没有可以重用的Url Spider组件？EN