使用BigQuery进行实时分析

Question

有没有办法用BigQuery运行实时分析？我使用了CSV upload选项，该选项启动一个作业并以脱机模式加载数据，加载完成后可以对其进行分析。但在关于BigQuery的公告中，提到了使用BigQuery进行实时分析。如何才能做到这一点？我们可以将数据从Google Cloud数据库追加(无更新)到BigQuery中，以进行实时分析吗？

顺便提一下，我注意到BigQuery CSV数据加载速度比我本地PC上使用10 PC数据文件运行的LucidDB和InfiniDB慢一个数量级。完成BigQuery作业需要34分钟，而在InfiniDB和LucidDB上只需要5分钟。与InfiniDB相比，查询执行时间(对于简单的聚合)在BigQuery上要慢两倍(6秒与3秒，而10 as的文件加载时大约为3秒)。30+百万条记录)，但比LucidDB更好。

Answer 1

1. 目前无法使用BigQuery一次直接流式传输一条记录的数据。唯一支持的摄取方法是从Google Cloud存储或直接通过多部分mime POST请求导入csv文件。摄取的配额是2个导入/分钟，每天1,000个导入请求，每个导入请求总数据100 be (参见：https://developers.google.com/bigquery/docs/quota-policy )。
2. “实时分析”(能够对海量数据运行非常快速的即席查询的能力)和“实时数据”的持续收集(键值数据存储更适合支持)之间存在区别。BigQuery当前的摄取机制不支持持续的单记录更新，但它确实允许开发人员在大规模的datasets.
3. While堆栈溢出上非常快速地运行查询，这不是基准讨论的最合适的地方，我想补充的是，如果不了解所使用数据的模式，很难对摄取和查询速度进行基准测试。虽然10 or的数据量很大，但在更大的数据集上进行摄取和查询速度的比较将是一件有趣的事情。

Answer 2

2013更新:现在您可以将数据流式传输到BigQuery中，并实时查询。

(您输入的数据稍后可用于查询)

https://developers.google.com/bigquery/streaming-data-into-bigquery

Answer 3

最好将实时分析和您的数据仓库分开。其中一个可以针对数据收集速度进行优化，以提供警报和触发器。后者用于大规模并行搜索和聚合。

两者都没有真正的解决方案，因为它们是相互排斥的。要快速处理大型数据聚合，您必须在索引和存储数据方面执行大量工作-这正是您想要最小化的操作，以便快速访问数据。