我试图为一个由3个节点(热、温和冷)组成的Elasticsearch集群设置一个ILM策略,这些节点的日志来自Logstash。我需要在达到一个特定的规模后,指数被滚动。另外,每个日志的数据源的标题应该以索引的名称(例如,event-nxlog-2022.01.01-000001)来引用。问题是,由于项目中存在大量数据源,因此对于每个数据源,应该将许多索引引导为第一个索引,并修改许多logstash配置文件。
关于所提供的说明,我有两个问题:
1-使用ilm_enabled、ilm_policy、ilm_rollover_alias和ilm_pattern设置在Logstash输出插件中引用ILM策略是否必要?有没有办法只使用索引名,让elasticsearch来管理ILM本身?
2-每个数据源的第一个索引是否应该引导?是否有任何方法来创建第一个索引并自动翻转它们?或者使用索引模式用单一查询引导所有索引?
发布于 2022-11-17 14:50:51
如果所有索引都可以具有相同的ILM策略,则可以替换默认的logstash策略,如下所示:
logstash:
image: logstash:7.17.7
environment:
- STDOUT=true
volumes:
- ./logstash/logstash.yaml:/etc/logstash.yaml:ro
- ./logstash/ilm-policy.json:/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-output-elasticsearch-11.4.1-java/lib/logstash/outputs/elasticsearch/default-ilm-policy.json:ro
command: 'logstash -f /etc/logstash.yaml'如果弹性数据是从零开始创建的,就像集群数据引导之后一样,这将有效。我已经为logstash弹性插件打开了一个特征请求,以添加一个输出选项,该选项允许配置自定义的ILM策略文件。
https://stackoverflow.com/questions/71005069
复制相似问题