AWS ElasticSearch服务与DataStream

Question

AWS ElasticSearch服务(OpenDistro)不支持DataStreams吗？今天，我试图用AWS ElasticSearch服务创建数据流，但什么也做不了。试图获取数据流列表只是返回

{
    "Message": "Your request: '/_data_stream' is not allowed."
}

根据X文档这里，它声明在6.3之后的所有elasticsearch版本默认都有X，我在AWS elasticsearch服务上使用ElasticSearch版本7.10。

我在文档中找不到任何能显式说明是否支持这一点的东西。如果有人能提供更多这方面的信息，那将是一个很大的帮助。

Answer 1

它不支持，AWS Elasticsearch服务和Elasticsearch有一些区别。

数据流是Elasticsearch中唯一可用的特性，该搜索是由弹性本身发布的，是根据弹性许可授权的。

AWS使用了开放源码版本的Elasticsearch，所有带有标签x-pack的特性都只能在弹性许可下使用，其中一些是免费的，有些是已付费，但在AWS使用的OSS版本中没有。

从7.11版的弹性更改了许可证开始，现在有两种许可，即弹性和SSPL，它们都不允许AWS将Elasticsearch作为从7.11版本开始的服务出售。

这导致AWS在一个名为Opensearch的新项目中推出了最后一个版本7.10.2，而AWS服务将更名为AWS Opensearch服务。

Answer 2

AWS版本的ElasticSearch，OpenSearch，现在支持数据流。请在这里结帐官方文件。

要创建数据流，只需创建具有以下配置的新索引，

PUT _index_template/logs-template
{
  "index_patterns": [
    "my-data-stream", // This is the DS index pattern. It can contain wildcards.
  ],
  "data_stream": {},  // This tells OpenSearch to create index as DS.
  "priority": 100
}

数据流是由OpenSearch在幕后创建的索引的集合。您仍然将查询和管理主索引my-data-stream上的数据，但在内部，OpenSearch将创建格式.ds-<name_of_index>-0000001的索引。

您还可以在主索引上定义“策略”，如滚转策略或删除策略，以管理旧数据，例如重新索引30天以上的数据。然后，OpenSearch将在30天后创建一个名为0000002的新索引，并应用您在0000001数据集中指定的策略。

您可以检查系统中定义的所有数据流，

获取/_data_stream