AngularJS / AJAX应用程序和搜索引擎爬虫

Question

我有一个网络应用程序，其中大量使用AngularJS / AJAX，我希望它是由谷歌和其他搜索引擎爬行。我的理解是，我需要做一些特殊的事情来使它工作，如下所述：https://developers.google.com/webmasters/ajax-crawling

不幸的是，这看起来很糟糕，我不想介绍hash标签。我想要做的是为Googlebot (基于User-Agent)提供一个静态页面，要么直接提供，要么发送302重定向。这样，web应用程序可以是相同的，整个Googlebot的变通方法被很好地隔离，直到不再需要它。

我担心的是，谷歌可能会错误地认为我是在欺骗Googlebot，而我的目标是帮助它。你们对这种方法有什么看法，你们会推荐什么？

Answer 1

截至2014年5月，GoogleBot现在执行JavaScript。查看WebmasterTools看看谷歌是如何看待你的网站的。

http://googlewebmastercentral.blogspot.no/2014/05/understanding-web-pages-better.html

编辑:请注意，这并不意味着其他爬虫程序(Bing、Facebook等)将执行Javascript。您可能仍然需要采取其他步骤，以确保这些爬虫程序可以看到您的站点。

Answer 2

最近我遇到了这个优秀的post from yearofmoo，详细解释了如何让你的Angular应用程序搜索引擎优化友好。本质上，当机器人看到一个带有散列标签的uri时，它们就会知道这是一个加了ajaxed的页面，并会试图通过替换'#!‘来访问相同的uri。在您的uri中使用'?_escaped_fragment_=‘。这个替代的uri指示机器人，他们应该期望找到他们正在访问的页面的确定的静态版本。

当然，要实现这一点，您必须在uris中引入散列标记。我不明白你为什么要避开他们。gmail不是使用了哈希标签吗？

Answer 3

是的，不幸的是，如果你想被索引-你必须遵守这个方案:(如果你运行一个ruby应用-有一个gem实现了任何机架应用的爬行方案……

gem install google_ajax_crawler

如何使用它的文章在http://thecodeabode.blogspot.com.au/2013/03/backbonejs-and-seo-google-ajax-crawling.html上，源代码在https://github.com/benkitzelman/google-ajax-crawler上