我需要索引我公司的员工手册,这是托管在一个外部网站。此页面需要登录,并支持通过查询字符串参数自动登录.
像这样:http://manual.externalprovider.com?token=xxxxxxxxx
当在我的内容源中输入这个URL时,我没有得到任何结果,并发出以下警告:
由于下列原因之一未爬行的项:预防性爬行规则;指定的内容源跳/深度超出;URL具有查询字符串参数;未找到所需的协议处理程序;预防性机器人指令。(该项目被删除,因为它被爬行规则所排除。)
是否不可能抓取开始地址中有查询字符串参数的内容?对于如何解决这一问题,还有其他建议吗?
发布于 2015-05-04 08:10:00
我认为这是可能的,但你需要创建新的爬行规则。
转到搜索服务应用程序->爬行规则->新爬行规则。
然后粘贴您的启动url:http://manual.externalprovider.com/*,并检查“包含此路径中的所有项目”和“爬行复杂url(包含问号(?)的url)”。
https://stackoverflow.com/questions/29389139
复制相似问题