如何将CPU、RAM、磁盘、碎片分配给麋鹿堆栈中的节点？

Question

我用3节点做了一个ELK堆栈，其中一个节点是主节点，两个是数据节点。假设我有大约1GB的数据来处理集群。我需要知道

• 每个节点应该包含多少碎片
• 应该为每个节点分配多少Ram和CPU
• 如何为节点分配最大存储空间

我在Ubuntu平台上建了麋鹿堆。

系统1属性

• 12 RAM
• 500 GB硬盘

系统2属性

• 8GB RAM
• 500 GB硬盘

系统3属性

• 4GB RAM
• 500 GB硬盘

由于有3个节点?( 3*3=9).Using Rest，所以我将碎片数设为9。

curl -X POST "http://localhost:9200/_template/default" -H 'Content-Type: application/json' -d'
{
  "index_patterns": ["*"],
  "order": -1,
  "settings": {
    "number_of_shards": "9",
    "number_of_replicas": "1"
  }
}
'

我不知道它是对是错。

我需要做一个健康的集群。

是否有任何方法或参数来分配碎片、副本、RAM、磁盘空间等？

是否有任何方法根据文件大小找到理想数量的碎片？

每个节点必须分配多少CPU核心？

到目前为止，我引用了以下链接来构建麋鹿集群。

• https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-node.html#master-node
• https://thoughts.t37.net/designing-the-perfect-elasticsearch-cluster-the-almost-definitive-guide-e614eabc1a87
• https://bonsai.io/blog/ideal-elasticsearch-cluster

Answer 1

碎片细节

通常，我们建议，如果您不期望数据有显著增长，那么：

One primary shard is fine if you have less than 100K documents

One primary shard per node is good if you have over 100K documents

One primary shard per CPU core is good if you have at least a couple million documents

一个索引可以有多个碎片，但是任何给定的碎片都只能属于一个非特定的索引。

参考文献：https://docs.bonsai.io/article/122-shard-primer