将爬虫指向HTML快照

Question

我正在努力使我的AJAX网站可以抓取：

这是有问题的网站。

• 我已经创建了一个生成页面的htmlsnapshot.php (该文件需要传递散列片段以生成正确的内容)。
• 我不知道如何让爬虫加载这个文件，同时让普通用户加载正常文件。
• 我真的不明白爬虫对散列片段做了什么(这可能是我的问题的一部分)。

有人有什么建议吗？

Answer 1

爬行器会偏离方向的。您只需要配置PHP脚本来处理Google将发送给您的站点的GET参数(而不是依赖AJAX)。

基本上，当谷歌找到一个指向yourdomain.com/#!something的链接，而不是请求/和运行JavaScript来对数据something进行AJAX请求时，Google将自动(不需要做任何事情)将URL中#!后面的任何内容转换为?_escaped_fragment_=something。

您只需(在PHP脚本中)检查是否设置了$_GET['_escaped_fragment_']，如果是，则显示something值的内容。

其实很简单。