Apache Nutch将抓取的文档写入rabbitmq

Question

目前我有一个elastic indexer插件，它可以批量地向elastic写入文档。我现在想把这些写到一个rabbitmq交换中。

我尝试在弹性插件的write方法中写入exchange，虽然这在本地手动运行时有效，但在hadoop集群中运行时不起作用。

我也看过publish-rabbitmq插件，但它看起来是专注于事件而不是文档。

有没有可用的插件来做我想做的事情，或者我需要自己写一个插件？

Answer 1

你想要的是类似于https://github.com/apache/nutch/tree/master/src/plugin/indexer-solr的索引插件，但它适用于RabbitMQ，目前还不存在。前段时间我也为一个客户做过类似的事情，但遗憾的是它不是开源的。

基本上，您需要做的是在从IndexWriter扩展的类中编写您自己的实现，并只填充每个方法的实现。

看看indexer-solr、indexer-elastic和https://github.com/apache/nutch/blob/master/src/plugin/indexer-dummy/，它们是最简单的，完全是作为学习/测试工具提供的。