将数据从历史节点内存刷新到深度存储

Question

我最初设置了一个包含2个历史节点的druid集群，每个节点都有30 had的内存。2个中间管理器节点，一个节点正在运行协调器和霸主，1个代理节点。

在成功运行了3-4周后，我发现即使在窗口期之后，我的任务仍然处于运行状态。然后，我碰巧又添加了一个具有相同配置的历史节点，这导致我的任务再次正常工作。这意味着所有被摄取到德鲁伊的数据都将进入内存，我将不得不继续添加历史节点。

有没有一种方法可以将一些数据从内存中刷新到深度存储中，并且每当对这组数据发起查询时，这些数据都应该加载到内存中？我的每个历史节点都有30 of的RAM。配置：

druid.processing.buffer.sizeBytes=1073741824

druid.segmentCache.locations={"path":"var/druid/segment-cache"，"maxSize":32212254720}

druid.port=7080

Draid.service=德鲁伊/历史

druid.server.maxSize=100000000000

druid.server.http.numThreads=50

druid.processing.numThreads=5 druid.query.groupBy.maxResults=10000000

druid.query.groupBy.maxOnDiskStorage=10737418240

Answer 1

正如问题中提到的，我的问题是我必须每隔几天启动一个新节点，但不确定原因。根本原因是每个历史节点上的磁盘空间。本质上，即使druid将数据推送到深度存储，它也会将所有数据保存在本地的历史节点上。因此，您只能在所有历史节点中存储等于'druid.server.maxSize‘配置总和的数据。如果您不想横向扩展，可以增加历史节点的磁盘，并增加此配置的值，然后重新启动历史节点。