将数据映射到Nutch 1.x的弹性搜索中

Question

我一直在使用Nutch 1.10进行一些小的web爬行，并使用Elasticsearch 1.4.1对爬行数据进行索引--优化索引映射的唯一方法似乎是先爬行，检查ES自己完成的映射，然后使用映射API (如果必要的话)对其进行相应的更改。

有谁知道一个更有效的解决方案来优化ES索引中的映射以供web爬行吗？

更新：甚至可以从Nutch爬行更新ES映射吗？

Answer 1

这里有两件事需要考虑：

1. 什么是被索引的数据？
2. 如何正确地将其索引到es

对于索引数据，您使用的索引插件会影响到这一点。例如，基本索引将为每个文档添加内容、主机、url等。您既可以检查插件的文档，也可以简单地查看输出内容(就像您所做的那样)。

在了解索引数据以及如何在es集群中处理这些数据之后，可以在es中创建具有正确/优化映射的新索引，并确保Nutch将索引到该索引。

当然，您也可以重新索引您已经爬行的内容(请参阅这是一篇)。