Apache Druid段

Question

在Apache配置中，您可以选择段的宏伟性(小时/日/周/等等)。如果你以后改变了自己的风格，会发生什么呢？新设置是否只应用于新数据，旧段将保持原样，还是也将重新生成旧段？例如，如果我们决定从一天到一周的变化。

Answer 1

如果你以后改变了自己的风格，会发生什么呢？新设置是否仅应用于新数据，旧段是否将保持原样？

段是不可变的，因此更改粒度只适用于新数据。

旧段是否会保持原样，还是也会再生旧段？例如，如果我们决定从一天到一周的变化

旧段将保留它们被摄入的粒度，而新段将被提交并发布到具有更新粒度的深度存储中。

换句话说，使用您的示例，旧段将保留其日粒度，而新段将以周粒度提交和发布。

Answer 2

更改粒度不会影响先前存储的数据。如果需要，可以使用重新索引任务来完成这一任务。

请注意，段粒度和查询粒度是有区别的。

简而言之，段粒度描述了在一个段中存储了多少数据。查询粒度描述返回的“分组”数据的大小。这两个可能是不同的。

例如，如果可以将段粒度大小设置为"week"，查询粒度设置为"hour“。在这种情况下，所有数据都存储在一个“每周”文件中，作为最小的数据集小时数据。

如果您使用的是PHP，您可以使用这个包裹，这使您可以轻松地将段压缩或重新索引到不同的粒度大小。

Answer 3

简而言之，您可以为新创建的段更改段粒度，但是当更改段粒度时，其他集群特性可以不同的工作方式，因此实际上，可能的损坏可能会影响您将来是否“能够”更改它。

• 现有的段是不可变的，因此它们保留了段创建过程中有效的任何段粒度。

- (Of course you could overshadow those segments by replacing them with new segments of a different granularity such as through compaction, but the original segments usually stick around as unused segments, just not loaded for serving queries)

• 您可以在将来更改新的段粒度(用于创建新段)。

- But if you want to maintain uninterrupted ingestion, you can run a test beforehand to anticipate possible ingest problems with different segment granularities.

这些是在更改段粒度时可能发生的错误类型。

• https://www.druidforum.org/t/could-not-allocate-segment-for-row-with-timestamp/2617
• https://github.com/apache/druid/issues/9386

但是，您不太可能看到其他问题，例如具有不同/混合段粒度的中断查询。

• 但是，您可以看到等待的、失败的压缩或其他批处理作业，这取决于分段粒度的变化以及启动任务的积极性。
• 同样，对于一个非常大的集群，您可以从拥有太多的段(或处理这些段的任务太多)中看到问题--这是不太可能的，但是是可能的。
• 但是，如果您有缓慢/失败的压缩任务，则使用不同的段粒度，它们可能运行得更好。