Bigquery流基准测试

Question

Bigquery正式成为我们的设备日志数据存储库和实时监控/分析/诊断基础。更进一步，我们需要测量和监控数据流性能。你对Bigquery live流有什么相关的基准测试吗？什么是相关的，一旦我可以参考？

Answer 1

由于流有一个有限的有效负载大小，请参阅Quota policy它更容易谈论时间和其他副作用。

我们为每个流请求测量1200-2500毫秒，这在上个月是一致的，如您在图表中所见。

​

​

虽然我们看到了几个副作用：

• 请求随机失败，类型为'Backend error‘
• 请求随机失败，类型为'Connection error’
• 请求随机失败，类型为‘timeout’
• 其他一些错误消息是非描述性的，它们非常模糊，对您没有帮助，请重试。
• 我们每天都会看到数百次这样的失败，所以它们几乎是恒定的，与云运行状况无关。

对于所有这些，我们在付费谷歌企业支持中打开了案例，但不幸的是，他们没有解决这个问题。看来，对于这些问题，推荐的选项是指数回退和重试，即使是被告知要这样做的支持也是如此。对我个人来说这并不让我开心。

更新

有人在评论中要求新的统计数据，所以我发布了2017年。它仍然是一样的，我们有一些繁重的数据重组，你可以看到峰值，但本质上是相同的，如果你使用流插入的最大值，大约是2秒。

​

​