你如何找出一个大的网站链接/结构？

Question

假设您正在重新设计一个现有的大型站点。首先要做的是弄清楚网站的结构，有多少链接，页面，子域名等等。

是否有一个工具可以用来抓取一个网站，并有一个容易理解的网站地图生成？

Answer 1

我使用Xenu链接探测，在一个大站点上运行需要很长时间，但是它会告诉你每个页面从主页上有多少个级别，以及有多少内部链接指向页面和页面外。它还提供了关于断开链接、重定向等的数据，并且是免费的。

Answer 2

您可以尝试http://www.xml-sitemaps.com/创建一个站点地图，但我认为它限制在500个链接。

Answer 3

如果您正在使用windows工具包IISSEO，您可以告诉它爬行您的站点。它将所有数据存储在SQL数据库中，这样您就可以随意分割数据。它还提供了一些提示的潜在问题，您的网站有。它还将数据导出到CSV。

我还使用Xenu交叉检查任何URL更改后，他们是作出。你不想要任何破碎的301's。