使用天蓝色火花读写时的高延迟

Question

我在给库斯托写数据，用的是天蓝色的火花。这个写有很小的数据。这个火花-kusto连接器使用批处理流.

但是我看到这个写有很高的延迟，大约在8分钟内运行。

从我看到的日志来看，这种高延迟是在分阶段摄入部分。我看到创建了一个临时的暂存表，并通过多个作业将数据输入给它。只有在完成分阶段摄入时，数据才最终被合并并写入kusto表。

有人能给出指针，为什么这个小数据会有如此多的延迟？

Answer 1

这可能是因为您的Kusto表摄取策略，如这里所描述的https://github.com/Azure/azure-kusto-spark/blob/master/docs/KustoSink.md#performance-considerations。

您可能需要修改default摄取策略，并将时间设置为小于默认值(即5分钟)。请参阅此文档以获得参考https://learn.microsoft.com/en-us/azure/data-explorer/kusto/management/batchingpolicy#defaults-and-limits