通过爬取网站来构建网站的结构

Question

当我重构一个网站时，我喜欢弄清楚现有的结构，以确保在将其移植到新的导航/菜单系统时不会遗漏任何东西。

我经常通过手动浏览网站或删除网站地图列表来做到这一点。网站地图的缺点是，发布部分可能会列出数千个链接，然后需要手动修剪这些链接。

有没有自动化的工具可以在一个页面上生成网站的视觉结构？

Answer 1

网站展示器可以generate a visual sitemap一个网站。单击“项目->新建”，设置爬行器设置，然后单击“开始”按钮运行爬网。

完成后，单击Visual Sitemap选项卡的Draw按钮。您可以通过单击页面来突出显示该页面的出站链接。使用保存按钮将视觉结构保存到图像文件：

​

​

但是，如果网站足够大，可视化效果将无法容纳在一个打印页面上。在这种情况下，一个简单的list of website's pages可以帮助您。转到页面和链接选项卡，右键单击顶部页面表格，选择全选，然后复制带有标题的行。之后，将数据粘贴到MS Excel表格或类似的应用程序中：

​

Site Visualizer有30天的全功能试用期，因此您可以免费执行您的任务。

Answer 2

我推荐使用Slickplan。您可以从头开始创建站点地图，也可以使用站点爬虫从现有网站导入和重新组织站点地图。此外，它还集成了Google Analytics模块，使您能够显示高级指标，因此您可以选择如何最好地重新设计或重组您的网站。这个应用有30天的免费试用，所以你可以试试。

我找到了关于他们的网站爬虫如何工作的视频教程：

https://www.youtube.com/watch?v=YwWJt-jCnLM

干杯!