如何使用transporter索引(Elasticsearch) mongodb的特定数据库的特定集合？

Question

我只想在使用transporter的elastic search中索引特定的mongodb集合。Mongodb服务器有多个数据库，具有多个集合。我不想索引整个数据库。

Answer 1

如果只想复制my_instance集合中的文档，请使用管道中的名称空间筛选器，即

var source = mongodb({
    "uri": "mongodb://172.31.38.157:27017/STOREDB",
    "timeout": "30s",
    "read_preference": "Primary"
})

var sink = elasticsearch({
    "uri": "http://172.31.38.157:9200/INDEX_NAME" 
})

t.Source("source", source, "/^my_instance$").Save("sink", sink, "/.*/")

此外，如果您只需要来自所选集合的特定数据，则collection_filters设置将转换为mongodb查询。下面注释掉的示例将只包括i字段的值大于10的文档。

var source = mongodb({
  "uri": "mongodb://127.0.0.1:27017/test"
  // "timeout": "30s",
  // "tail": false,
  // "ssl": false,
  // "cacerts": ["/path/to/cert.pem"],
  // "wc": 1,
  // "fsync": false,
  // "bulk": false,
  // "collection_filters": "{\"foo\": {\"i\": {\"$gt\": 10}}}"
})