如何进行德鲁伊段数据备份？

Question

我对德鲁伊很陌生。在我们的应用程序中，我们将德鲁伊用于timeseries数据，这可能会变得相当大(10-20TB)。德鲁伊为您提供深储藏室。但是，如果这个深存储崩溃/或无法到达，那么它将导致数据丢失，进而影响应用程序正在运行的分析。我正在考虑将增量备份德鲁伊段数据带到某个安全位置，如ftp服务器。因此，如果深度存储不可用，那么它们可以从这个ftp服务器恢复数据。

德鲁伊中是否有任何工具/实用工具可用于增量备份/还原德鲁伊段？

Answer 1

通常，对元数据存储进行定期快照是很重要的，因为这是深度存储中的“索引”。也许一天一张快照，并保存他们的时间，无论你喜欢。最好至少储存几个星期，以防你因为某种原因需要退回去。

当新段出现时，还需要在深度存储中备份它们。采取一致的快照并不重要，只是为了最终得到每个文件。

还请参见https://groups.google.com/g/druid-user/c/itfKT5vaDl8

正如您提到的数据丢失的另一个注意事项：深层储存不是直接查询的--查询在本地段缓存上执行，例如在历史进程中。深度存储是在摄入时写入的，因此一旦数据再次可用，您可能会“丢失”无法摄取的数据，但是您将继续获得分析功能，因为已经加载的数据已经在历史记录中.只是一个想法哈哈！

我希望这有帮助.？！