我一直在开发一个使用Backbone.js路由器的项目,所有数据都是通过restful请求由javascript加载的。我知道无法检测服务器端是否启用了Javascript,但是下面是我想让这个网站可索引的场景:
<script>标记来检测是否启用了Javascript。服务器使用可索引数据呈现此页面,当用户访问此页面时,我可以手动初始化Backbone.js路由器。然而,问题是,我需要执行一个sql查询来在服务器端呈现可索引的数据,如果访问者不是机器人,它将导致额外的负载。当用户在某个地方共享该网站的网址时,它将不是一个可索引的页面,而且web爬虫可能无法识别该网址的内容。另外,网络爬虫搜索页面中的额外字符串可能会让用户感到厌烦。哪一种方式似乎更方便,或者你有任何想法和经验,使这种类型的网站索引?
发布于 2013-01-06 17:42:53
正如elias94xx在他的评论中所建议的那样,解决这一困境的一个可靠解决方案是利用谷歌的"AJAX爬行“。简而言之,谷歌告诉网络社区:“你看,我们不会真的为你呈现你的JS代码,但是如果你想为我们提供服务器端,我们会尽力让你轻松。”他们这样做有两个基本概念:漂亮的URL、=>、丑陋的URL翻译和HTML快照。
1) Google实现了一种web开发人员可以用来指定仍然可以爬行的客户端URL的语法。谷歌称这些“漂亮URL”的语法是:www.example.com?myquery#!key1=value1&key2=value2。
当你用那个格式使用一个URL时,Google不会尝试抓取那个确切的URL。相反,它将抓取“丑陋的URL”等价物:www.example.com?myquery&_escaped_fragment_=key1=value1%26key2=value2。因为该URL有一个?而不是#,这当然会导致对服务器的调用。然后,您的服务器可以使用"HTML快照“技术。
2)这种技术的基础是让您的web服务器运行一个无头的JS运行器。当Google从您的服务器请求一个“丑陋的URL”时,服务器会在无头运行程序中加载您的主干路由器代码,并生成(然后返回给Google)与代码在客户端运行时所生成的相同的HTML。
关于pretty=>ugly URL的完整解释可以在这里找到:https://developers.google.com/webmasters/ajax-crawling/docs/specification
有关HTML快照的完整解释可以在这里找到:https://developers.google.com/webmasters/ajax-crawling/docs/html-snapshot
哦,虽然到目前为止一切都是基于Google,Bing/Yahoo也采用了这种语法,正如Squidoo所指出的:
https://stackoverflow.com/questions/14180512
复制相似问题