实际呈现给机器人的HTML是什么？

Question

我们有一个产品页面，其中有4个商品传送带，主要显示相关产品。这四个传送带都是客户端渲染的。

1. Scenario1: Google富结果

现在，我们已经观察到，当在桌面模式下的Google“富结果测试”工具中进行测试时，这4种传送带都不会呈现出来。

2.2.Secnario2 2:User=“Googlebot Dekstop"

另外，我在浏览器中使用“用户代理”作为"Googlebot桌面“测试了相同的URL。在这个场景中，两个旋转木马(赞助)被呈现，而不是剩下的两个(非赞助)。它们在代码中的处理方式不同。

SSR (NEXT_DATA)中已有的赞助传送带数据是基于客户端的交集观测器API来呈现的。

其中，非赞助的传送带数据在水化后在客户端获取，然后呈现。

3. Scenario3: User=“Googlebot Dekstop”和浏览器

上禁用的JavaScript

在此场景中，呈现的HTML不包含任何传送带并与Scenario1相匹配，这与在Google富结果测试中呈现的HTML相同。

1. 实际呈现给机器人的HTML是什么？当“用户代理”设置为"Googlebot“(Scenario2)时，是在”Google富结果测试“工具中呈现的HTML还是在浏览器中呈现的HTML？
2. 如果是Scenario2，
   1. bot可以让客户端将基于交叉观察者API的传送带呈现为现成的数据，但它不提供其他两个需要额外网络调用的传送带。难道机器人不等待水合后的网络调用并呈现客户端组件吗?它们是否有时间窗口，需要在其中呈现HTML以供爬行考虑？

3. 在这里服务机器人的理想方式是什么？所有的传销都应该出现在SSR文件中，并避免CSR吗？

Answer 1

我将试图通过解释爬虫是如何工作的来回答这三个问题：

根据谷歌的文档，当谷歌机器人爬上你的网站时，会有一个在爬行器和渲染器之间交手。Javascript需要大量的资源来处理，而且Google愿意投入的精力是有限的。虽然少量的Javascript用于呈现您的页面并不是一个问题--添加的越多，就越有可能被删除。

渲染程序将处理多少Javascript取决于仅为Google所知的几个因素。我们可以公平地假设它们与机器人的目的有关，Google想要在多大程度上渲染页面。当你使用丰富的结果机器人-它是寻找结构化的数据。它不太可能呈现太多，因为它期望将数据嵌入到HTML中。当你做桌面谷歌机器人爬行，那么它更有可能分配资源，以帮助您的网页大致达到它认为用户会看到的东西。

我无法为您的情况提供准确的答案，但我的一般建议是尽可能将客户端Javascript负载保持在最低限度。这也是谷歌的建议。在流行的库和框架方面，我看到了更多的成功--但即使是在严重的SPA情况下，我也强烈建议限制或预渲染关键的HTML/CSS。并且始终嵌入您的JSON+ld数据时，它是服务，以确保它是捡起来的！