有谁知道任何可用的代码来爬行一个网站,跟踪跃点,重定向,重定向的类型等?
或者是一个有希望的免费工具?
我尝试这样做的原因是为了清理一个多年来页面已经积累了几次重定向的网站。
我用谷歌搜索了又搜索都没有用..我发现只有在你提供链接的情况下才能检查页面的工具..但不是“蜘蛛”工具..
谢谢
发布于 2012-03-05 12:43:18
对于类似的东西,我使用了JSpider - http://j-spider.sourceforge.net/
https://stackoverflow.com/questions/9561718
复制相似问题