首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >solr 6.5和nutch 1.12

问solr 6.5和nutch 1.12
EN

Stack Overflow用户
提问于 2017-07-06 11:14:23
回答 1查看 245关注 0票数 0

成功连接nutch 1.12与solr 6.5,并爬行未经认证的网站.当我试图抓取经过认证的网站时,我无法继续。有人能帮我克服它吗。

错误:

代码语言:javascript
复制
java.lang.RuntimeException: java.lang.IllegalArgumentException: No form exists: user-login
    at org.apache.nutch.protocol.httpclient.Http.resolveCredentials(Http.java:485)
    at org.apache.nutch.protocol.httpclient.Http.getResponse(Http.java:180)
    at org.apache.nutch.protocol.http.api.HttpBase.getProtocolOutput(HttpBase.java:261)
    at org.apache.nutch.fetcher.FetcherThread.run(FetcherThread.java:295)
Caused by: java.lang.IllegalArgumentException: No form exists: user-login
    at org.apache.nutch.protocol.httpclient.HttpFormAuthentication.getLoginFormParams(HttpFormAuthentication.java:183)
    at org.apache.nutch.protocol.httpclient.HttpFormAuthentication.login(HttpFormAuthentication.java:95)
    at org.apache.nutch.protocol.httpclient.Http.resolveCredentials(Http.java:483)

httpclient-auth.xml:

代码语言:javascript
复制
 <auth-configuration>
    <credentials authMethod="formAuth"
            loginUrl="<url>"
            loginFormId="user-login" 
            loginRedirect="true">
    <loginPostData>
      <field name="name"
          value="*<name>*"/>
      <field name="pass"
          value="*<password>*"/>
      <field name="op"
          value="Log in"/>
    </loginPostData>
   </credentials>
</auth-configuration>

搜索了几个链接但没能解决。

谢谢。

EN

回答 1

Stack Overflow用户

发布于 2017-07-06 11:46:13

你如何识别需要提交的表格?在httpclient-auth.xml文件中放置以下内容:

代码语言:javascript
复制
loginFormId="user-login" 

所以,它试图通过id找到登录表单的插件,这意味着表单必须有user-login id,将这个值更改为表单登录的正确id,您正在尝试爬行。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/44947345

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档