首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何将Apache nutch从一步跳到下一步

问如何将Apache nutch从一步跳到下一步
EN

Stack Overflow用户
提问于 2015-02-02 15:18:25
回答 1查看 74关注 0票数 1

我使用的是apache Nutch 2.3。我想跳过apache nutch的抓取步骤,跳到下一个步骤,即解析,也就是说,假设我的爬行处于抓取状态,我想要进入解析步骤,这样它就可以提前完成。

如何跳过apache nutch从一步到下一步?

EN

回答 1

Stack Overflow用户

发布于 2015-04-17 16:15:50

由于Apache Nutch是基于Hadoop的,所以已经逐步应用了不同的任务。它意味着在完成Inject之后生成。Fetch出现在Generate等之后。然而,对于解析步骤,为了更改默认的nutch行为,有一个可用的配置。

代码语言:javascript
复制
<property>
    <name>fetcher.parse</name>
    <value>true</value>
    <description>For merge parse and fetch set it true</description>
</property>

fetcher.parse的默认值为false。您必须将其更改为true,并将其放入nutch-site.xml中。此参数更改同时执行解析和获取的默认解析机制。对于nutch的其他任务,恐怕您必须自己进行开发。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/28272768

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档