首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Nutch 2.3.1不能抓取没有域名的内部链接

问Nutch 2.3.1不能抓取没有域名的内部链接
EN

Stack Overflow用户
提问于 2017-03-14 04:50:40
回答 1查看 238关注 0票数 0

我有一个nutch设置在一个地方抓取许多网站一次,但对于一个网站,特别是因为像href=的内部链接“一个没有域名的链接”nutch不能看到这些网址,下面是nutch网站

代码语言:javascript
复制
conf/regex-urlfilter.txt
# skip file: ftp: and mailto: urls
-^(file|ftp|mailto):

# skip image and other suffixes we can't yet parse
# for a more extensive coverage use the urlfilter-suffix plugin
-\.(gif|GIF|jpg|JPG|png|PNG|ico|ICO|css|CSS|sit|SIT|eps|EPS|wmf|WMF|zip|ZIP|ppt|PPT|mpg|MPG|xls|XLS|gz|GZ|rpm|RPM|tgz|TGZ|mov|MOV|exe|EXE|jpeg|JPEG|bmp|BMP|js|JS)$

# skip URLs containing certain characters as probable queries, etc.
-[?*!@=]

# skip URLs with slash-delimited segment that repeats 3+ times, to  break loops
-.*(/[^/]+)/[^/]+\1/[^/]+\1/

# accept anything else 
+.

我更改了默认的nutch-defaults.conf

代码语言:javascript
复制
<property>
<name>db.ignore.internal.links</name>
<value>true</value> <!-- do not leave the seeded domains (optional) -->
</property>

谁能告诉我我该怎么做。

EN

回答 1

Stack Overflow用户

发布于 2017-04-24 15:54:54

我有没有域名的链接,它们是同一站点的链接。假设我们有href='www.site.com/linktext',在我的例子中,我有href='linktext‘。Nutch根本看不到这些链接,它只检测那些包含域名的链接。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/42773170

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档