我的网站提供了动态创建的内容,爬虫可以看到,基于以下规范:https://developers.google.com/webmasters/ajax-crawling/docs/specification。这样,谷歌爬虫用以下语法索引了大约5000个http://www.unclestock.com//app.jsp?_escaped_fragment_=s=GOOG:http://www.unclestock.com//app.jsp?_escaped_fragment_=s=AAPL urls
用谷歌的网站管理员工具查看我的抓取报告,我确信这些页面都被成功抓取了。但是,当通过Google进行搜索时,它们不会显示为结果。请注意,我确实找到了我的通用网站,在“更多结果”下,我找到了大约40个动态生成的页面,但显然这不是我想要的。我想根据它们的内容(AAPL,GOOG,...)找到页面。也许,爬虫认为我的页面或多或少是一样的。但事实并非如此。
发布于 2013-10-05 03:42:38
谷歌通常只会请求一个带有?_escaped_fragment_=的页面,如果它看到一个带有#!在里面。页面将被索引为#!(这样点击谷歌搜索结果中的链接将转到带有#!的网址),而不是索引为...escaped_fragment...
你说谷歌索引了带有"escaped_fragment“的网址--但是如果你准确地引用它们,谷歌从来没有看到过网址"http://www.unclestock.com/app.jsp?#!s=AAPL”--如果有,应该有两个?在app.jsp as #之后!替换为?#!_escaped_fragment_=
我的印象是jsp代码需要有?在URL中#!这样网站就不会像
.../app.jsp#!s=AAPL
https://stackoverflow.com/questions/17004672
复制相似问题