最近,我向一个站点添加了一个新特性,它使用AJAX加载登录和注册面板。
上传后,我得到了大量的谷歌爬虫错误,近700!
除了jQuery .load()函数使用的URL之外,错误URL不会出现在页面源的任何地方。
谷歌是否正试图抓取我的JavaScript代码所使用的URL?
发布于 2012-05-04 14:07:00
查看一下Google http://support.google.com/webmasters/bin/answer.py?hl=en&answer=174993中的这个页面,它提供了一些关于ajax的想法,以及如何防止机器人破坏ajax。特别是“如果我的站点有一些不应该爬行的散列片段URL,怎么办?”有个问题。
https://stackoverflow.com/questions/10450339
复制相似问题