在ElasticSearch中以微秒格式保存数据

Question

我试图使用带有Logstash的jdbc输入插件将事件集从MySQL数据库保存到弹性搜索中。数据库中的事件记录包含以微秒格式的日期字段。实际上，数据库中有一组微秒之间的记录。

在导入数据时，Elasticsearch将微秒数据格式截断为毫秒格式。如何以微秒格式保存数据？elasticsearch文档表示，他们遵循JODA时间API来存储日期格式，这不支持微秒，而是通过在时间戳末尾添加一个Z来截断。

截断后的样本时间戳：2018-05-02T08:13:29.268Z

数据库中的原始时间戳：2018-05-02T08:13:29.268482

Answer 1

Z不是截断的结果，而是GMT时区的结果。

如果您在映射中指定了正确的日期格式，ES也支持微秒。

如果映射中的日期字段指定如下：

    "date": {
      "type": "date",
      "format": "yyyy-MM-dd'T'HH:mm:ss.SSSSSS"
    }

然后，您就可以像在数据库中一样，用精确的微秒精度索引您的日期。

更新

下面是一个完整的再创造，它向您展示了它的工作原理：

PUT myindex
{
  "mappings": {
    "doc": {
      "properties": {
        "date": {
          "type": "date",
          "format": "yyyy-MM-dd'T'HH:mm:ss.SSSSSS"
        }
      }
    }
  }
}

PUT myindex/doc/1
{
  "date": "2018-05-02T08:13:29.268482"
}

Answer 2

附带注意，“日期”数据类型在elasticsearch中以毫秒为单位存储数据，因此在这里，如果在日期范围查询中需要纳秒精度级别，则适当的数据类型是纳氏