基于Google Cloud平台的物联网实时流处理

Question

我关注的是通过GCD发布/订阅的物联网实时流处理，云数据流和通过BigQuery.I执行分析。我正在寻求如何实现这一点的帮助。Here is the architecture for IOT real-time stream processing

Answer 1

我假设您的意思是想要将来自Google Cloud平台外部的某种数据流式传输到BigQuery中。

除非您以某种方式转换数据，否则我不认为数据流是必要的。

注意，BigQuery有它自己的流应用程序接口，所以你不一定要使用发布/订阅来将数据放入BigQuery。

在任何情况下，这些都是你通常应该遵循的步骤。

方法1

1. 发布服务帐户(并从谷歌控制台上的IAM下载.json文件)
2. 编写应用程序以获取要在该应用程序内的
3. 中流式传输的数据，使用该服务帐户将数据直接流式传输到BQ数据集和表中，然后在

console

1. BigQuery console上分析数据

方法2

1. Setup PubSub queue
2. 编写一个应用程序，该应用程序收集您要在
3. push to PubSub中流式传输的信息，根据需要转换数据，并如上所述推送到BigQuery控制台上的BigQuery
   1. Analyse PubSub数据。

原始数据

如果您只想将非常原始的数据(不进行处理)放入BQ中，那么我建议使用第一种方法。

半处理/已处理数据

如果你真的想以某种方式转换数据，那么我会使用第二种方法，因为它允许你首先处理数据。

尝试始终使用方法1

但是，我通常建议使用第一种方法，即使您想以某种方式转换数据。

这样，您的dataset中就有了一个data_dump表(原始数据)，在此之后，您仍然可以使用DataFlow转换数据，并将其放回aggregated表中。

这为您提供了最大的灵活性，因为它允许您从BQ中的单个data_dump表创建潜在的n转换后的数据集。