如何在ElasticSearch中批量插入？(五旬节水壶不起作用)

Question

我有一个ETL过程，我正在实现使用五旬节凯特尔(勺子)。除了无法将生成的数据插入到我的ElasticSearch远程服务器之外，一切正常。我尝试使用Kettle的组件“弹性搜索批量插入”，但是Kettle无法找到我的弹性搜索节点(可以看到这里)。是否有可靠的方法向我的ES服务器添加大量信息？使用水壶或独立脚本/plugins/etc的解决方案被接受，唯一的限制是ETL进程将在与弹性搜索不同的机器上运行。水壶有一个自定义的Java脚本元素，也可以使用。

编辑:我发现Pentaho正在使用一个非常老的弹性搜索版本(0.16.3)，我正在试图找到一种方法来更新它。直到现在还没有运气..。

Answer 1

elasticsearch是一个RESTful搜索引擎，所以我使用REST客户机水壶步骤。您所要做的就是按照rest标准将行插入到远程elasticsearch服务器。效果很好。

Answer 2

我将依赖jar从elasticsearch-0.16.3.jar更改为elasticsearch-1.6.0.jar (也需要lucene-core-4.10.4.jar)，将'ElasticSearchBulk‘(在一些帮助下)复制为新插件或修改源代码，因为elasticsearch包的某些位置已经更改(删除错误的包导入，然后添加正确的)。最后，它与弹性搜索1.6很好地工作。

Answer 3

首先，您应该知道您的弹性搜索服务器配置。在您的Elasticsearch服务器下打开elasticsearch.yml文件并复制IP地址、transport.tcp.port和cluster.name值。

回到你的水壶，打开"ElasticSearch大容量插入“任务。在“设置”选项卡中添加"culster.name“，在”服务器“选项卡中添加IP地址和tcp.port。然后尝试“测试连接”。应该行得通。