PHP云数据存储和云数据流

Question

我的设计是通过GAE (PHP)将原始数据从IoT设备保存到Cloud。我还想通过将这些数据带到BigQuery。但是，我找不到标准或官方文档来表示在DataStore和DataFlow服务之间读取和转储数据的方式。

Answer 1

实现这一目标的最简单方法是使用BigQuery加载备份的能力。本质上，只需将常规备份安排到GCS桶中，然后将备份从GCS加载到BigQuery。[文档]。

如果您想使用Dataflow，您可以使用DatastoreIO源代码(对不起，这里没有PHP )。[文档]

将查询的结果读入PCollection：

Pipeline p = Pipeline.create(options);
PCollection<Entity> entities = p.apply(
   DatastoreIO.v1().read()
       .withProjectId(projectId)
       .withQuery(myQueryObject));

然后将这个PCollection写入任何您想要的数据。