问从整个WebSite中提取所有URL
EN

Stack Overflow用户

提问于 2011-04-06 17:35:31

回答 1查看 2.2K关注 0票数 0

我想抓取一个网站使用C#或VB.NET。我希望爬虫从网页中提取网址，我也希望爬虫遵循网址，以便我能够从网站中提取所有的网址。

我该怎么写呢？

发布于 2011-04-06 17:39:43

在这种情况下，什么是网站？

本地虚拟目录？静态网页？动态页面托管在什么地方？

看

wget --mirror

Curl在这里也可以有选择。

此外，在开始搜索网络之前，请先阅读有关robots.txt的信息:)

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/5564269

复制

相似问题

问从整个WebSite中提取所有URLEN