如何从BigQuery中传输更新？

Question

当数据到达我的BigQuery中时，我想将其中的一部分发送到另一个数据库-- datamart或服务于实时仪表板的操作数据库。

我该怎么做？轮询庞大的烧烤桌太昂贵和缓慢，我希望更新频繁-接近实时。

奇怪的是，我几乎没有从BigQuery上找到关于流媒体的信息。

Answer 1

轮询巨大的烧烤桌太昂贵，速度太慢。

确保按日划分数据，如果有太多的数据，按小时对其进行聚类。

在数据到达时，没有一种自然的方法可以将数据从BigQuery中流出来，但是如果您对数据进行适当的分区和集群，那么扫描将比从一个简单的表中进行数据的代价要低得多。

为了实时:是否可以选择将数据从管道中拆分到BigQuery和其他工具，而不是在将数据存储在BQ中之后呢？

对评论

我宁愿不改变每一个客户来写到两个目标，BQ加PubSub

让每个客户只写到Pub/Sub。然后单击-部署一个从Pub/Sub写入BigQuery的管道，以获得最可靠的管道。然后，其他消费者可以订阅相同的Pub/Sub主题，为BigQuery提供提要。