Google爬虫520错误

Question

Google每天会产生520个错误。我将在一个60.000的内部链接网站上得到大约50-100个这些错误。

问题是，我的链接没有任何问题，我可以深入解决。因此，当我单击URL错误并使用Fetch作为Google功能时，URL通常是爬行和索引的，没有任何问题。

有什么线索可以从哪里开始解决这个问题？

谢谢

Answer 1

我在cloudflare.com上找到了这篇可能有帮助的文章：

https://support.cloudflare.com/hc/en-us/articles/200171936-Error-520-Web-server-is-returning-an-unknown-error

另外，我建议你的网站暂时离开第三方缓存服务(比如cloudflare)，试着像这样运行一个星期，观察你的服务器日志，看看是否有什么不寻常的事情发生。另外，在webpagetest.org中对其进行几次测试，以确定加载时间是否可以接受。

此外，获得一个工具，扫描您的网站上的每一个链接，以确保它们都是有效的。我使用Xenu (在http://home.snafu.de/tilman/xenulink.html#Download上找到)。

一旦事情是可以接受的，然后再次尝试cloudflare，如果您仍然得到HTTP错误520，那么他们的服务和/或您的帐户在他们的服务上都有问题，在这种情况下，您应该直接与他们联系。