由于添加了，Ahrefs.com生成JS404

Question

我们使用WP引擎作为我们的网站主机。我添加了一些Web规则来生成以下HTTP头：

X-XSS-Protection: 1; mode=block
X-Content-Type-Options: nosniff
Referrer-Policy: origin-when-cross-origin
Feature-Policy: geolocation 'self'
X-Frame-Options: SAMEORIGIN
Content-Security-Policy: upgrade-insecure-requests

由于进行了上述更改，下一次Ahrefs.com站点审计为一些Beaver Builder文件生成了大量404。

如果您加载由Ahrefs检测到的404的网页，那么就没有损坏的资源。

只有Ahrefs用户代理为一些Beaver Builder文件生成404。

上面添加的HTTP报头是否会由Ahrefs用户代理产生这些404？

WP引擎说，Ahrefs用户代理没有被阻止。

帮助感激。

更新：在Ahrefs爬行设置中，打开“执行Javascript”为我们解决了这个问题。

Answer 1

不久前，Aref宣布为其履带机和现场审核工具呈现网页并执行现场审核工具。

要做到这一点，Ahrefs必须部分实现浏览器呈现。这不是一个成熟的浏览器实现，但它的部分“准备使用”的代码是采取的。这个呈现器继承了对HTTP报头的部分支持，它被内置到这段“准备使用”的代码中。

但主要任务是搜索通过javascript插入的链接，而不是完全支持HTTP报头。

因此，所使用的实现不正确地执行一些标头，只有通过实验才能找到这些头--一个一个地禁用它们并等待结果。

但是这些都不是标题Referrer-Policy、Feature-Policy和X-Frame-Options --它们不会导致404 Not Found错误。

最有可能的是，这些只是一个Ahrefs渲染器加载外部脚本的错误，它们不太可能对Ahrefs或SE排名的分析能力产生影响。