kairosdb与elasticsearch集成

Question

我正在用凯罗斯代布作为我的主要数据库。现在，我想将Elasticsearch功能集成到我的数据中。正如在文档中所述，我必须在Elasticsearch数据库中复制主db的所有条目。

更新

我的意思是，如果我想在elasticsearch中索引某个内容，我必须这样做，例如：

检索Kairosdb的数据，一个示例json {"name": "hi","value": "6","tags"}

然后把它放在Elasticsearch里面：

 curl -XPUT 'http://localhost:9200/firstIndex/test/1' -d '{"name": "hi","value": "6","tags"}'

如果我想搜索，我必须这样做：

curl 'http://localhost:9200/_search?q=name:hi&pretty=true'

我想知道是否有可能在Elasticsearch中复制我的数据，以一种我可以做到的方式：

• 从KairosDB获取数据
• 使用Elasticsearch索引它们，而不重复数据。

我该怎么做呢？

Answer 1

听起来，您希望将Elasticsearch用作主数据存储(KairosDB)的辅助(和外部)全文索引。

由于KairosDB仍然是您的主要数据存储，所以加载到Elasticsearch中的每条记录都需要两条信息(至少)：

1. 用于定位相应的KairosDB记录的主键字段。在映射中，确保设置"store": true, "index": "not_analyzed"
2. 任何您希望搜索的字段(在您的示例中，只搜索name ) "store": false, "index": "analyzed"

如果您想进一步缩小索引大小，请考虑https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-source-field.html

然后，您的搜索工作流变成了一个两步的过程：

• 查询name:hi的弹性搜索，并为每个匹配的记录检索KairosDB主键字段。
• 使用从Elasticsearch返回的关键字段查询/返回KairosDB时间序列数据。

但要说清楚。您不需要完全复制加载到Elasticsearch中的每个KairosDB记录。只有可搜索的字段，以及在KairosDB中定位原始记录的方法。