SEO -在爬行之前，如何要求爬虫在加载数据时等待？

Question

我正在使用mvvc框架(ar角)，并且在站点数据索引方面遇到了一些困难。所有静态数据都可以很好地爬行，但是缺少来自云db的动态数据。

有没有办法礼貌地让爬虫等上几百ms才去呢？

Answer 1

没有办法让蜘蛛等着。这将适得其反，因为他们的工作是尽快对数据进行索引，每一次等待都会累积为几天/几周/几个月的延迟。(请注意，Google已经探索了一些javascript呈现，但这无助于XHR内容)。

正确的答案是探索使AJAX应用程序可爬行。这种方法的要点是在部署过程中使用像prerender.io这样的工具来预呈现动态内容。然后，在站点地图中列出这些内容，或者利用服务器上的_escaped_fragment_重写，或者使用在这里解释的元标记(从入门开始)：

为了使没有散列片段的页面可以爬行，在页面的HTML标题中包含了一个特殊的元标记。元标记采用以下形式：

<meta name="fragment" content="!">

在这两种情况下，您仍然必须将动态内容预呈现到缓存的HTML页面，并在搜索引擎从服务器请求内容时将这些内容提供给搜索引擎。

Answer 2

最好的方法是不做索引，不要跟着那个时间。

​

在完全加载数据之后，您可以删除该标记。