检查链接的工具或网站

Question

我们为客户提供Magento和Typo3安装。为了改进QA，我们希望使用一个自动链接检查器来检查断开和/或过时的链接--自动。我们想要检查所有的链接停留在它自己的领域，也许链接出去，但不爬行外部域。

然而，由于商店的性质，链接的数量可以稍微大一点。

到目前为止，我们使用了linkchecker (Linux )和Xenu (Windows工具)：

• 在4天的时间里，链接检查器几乎停了下来，但没有得出结论。
• 一开始Xenu速度惊人，但它是一个32位的应用程序，在爬行了大约300 k的链接( 1.4m)之后，它停止了它的内存。

我知道，已经爬行的URL需要存储，以检查新URL是否等于旧URL，而不需要重新检查。

有没有一个工具，一个网站或任何其他解决方案，可以抓取如此规模的网站，并提出某种结果(只有打破链接将是好的)？

Answer 1

大布，你试过逐个目录爬行你的网站目录吗？如果我没记错的话，Xenu提供了这样的功能。

作为一种选择，您可以尝试将我们的网站可视化爬虫用于您的任务。我不确定它是否能够抓取所有的140万链接，因为我们还没有在这么大的网站上尝试过。它还允许只爬行某些目录。

下载试用版并安装它，然后创建新项目并取消选中爬行选项卡的下列选项，以提高速度和最小化占用的资源：

• 计数字数
• < IMG >
• < LINK >
• < SCRIPT >
• 线程号设置为25
• URL访问超时设置为10

您还可以定义一个目录(或多个目录)，以便使用包括网址项目选项爬行。例如，您可以只抓取QA目录，因为它包含大部分损坏的链接。在Include对话框中键入'/QA/‘(w/o引号)并单击OK。

抓取完成后，双击网站Visualizer主窗口的Reports选项卡上的客户端错误响应(4xx)报告。

试用版的应用程序功能齐全，所以你可以免费使用它30天。