为什么我的javascript呈现的navbar不被爬行？

Question

我的引导导航条是通过$(document).ready中的函数调用加载的。这个函数加载导航条(在header.html中)，如下所示：

function loadHeader(callback){
    $.ajax({
        url: "/resources/"+language+"/header.html",
        async: true,
        success: function (data) {
            $('body').append(data);

            if(callback){
                callback();
            }

        },
        dataType: 'html'
    });     
}

我已经尝试过设置async=false，但是爬虫仍然不会找到导航栏中的链接(我通过和爬虫程序尖叫青蛙尝试过fetch+render )。

最奇怪的是，导航栏是在其他几个动态页面元素之前加载的，Google搜索控制台在呈现这些元素时没有问题。

以下是我的导航栏(在header.html中)的预览：

<nav class="navbar navbar-default navbar-fixed-top index-nav">
    <div class="container" style="width:100%;">      
      <div class="navbrand">
        <a class="navbar-brand page-scroll" href="/en/">
          <img class="homelogo" src="/logos/company-Logo.png"/>
        </a>
      </div>
      <ul class="nav navbar-nav navbar-left">
        <li class="dropdown resourcesLI">
          <a class="dropdown-toggle mousePointer" data-toggle="dropdown">Resources</a>
          <ul class="dropdown-menu" role="menu">
              <li class="Link"><a href="/en/page_1.html">Page 1</a></li>                            
              <li class="Link"><a href="/en/page_2.html">Page 2</a></li>
          </ul>
        </li>
      </ul>
    </div>
  </nav>

为什么我的肚脐链接没有被抓取爬虫？

编辑：应该注意到我对SEO非常陌生

Answer 1

总的来说，我在这篇文章中以其他方式回答了你的问题：https://stackoverflow.com/a/38948082/6715875

但是，如果我为您详细介绍一下，我会简短地告诉您:在DOM加载之后已经部分更新的所有内容都不会被搜索引擎爬虫编入索引。在这种情况下，您可以选择一些解决方案，我在上面的链接中已经提到了。

致以问候。