更新Google Cloud数据存储中的所有同类实体

Question

我们在数据存储中有大约1000万个实体或某种类型的数据集。我们想要更改products的功能，所以我们想要更改所有种类实体上的字段。

有没有一种智能/快速的方法来做到这一点，而不涉及迭代所有的系列实体？

Answer 1

也许你可以使用Dataflow来帮助你解决你的问题。

数据流是一个流和批处理数据处理服务，完全由GCP管理。

它是在Apache Beam项目中开源的。与该SDK完全兼容。这允许您在GCP上运行您的开发之前在本地测试它们。

它公开了两个主要概念，PCollection，基本上是由工具处理的数据，以及管道，捕获数据所需的不同步骤，必须执行的转换，以及应该如何以及在哪里写入获得的结果。

它提供了对Java, Python and Go的支持，以及丰富的功能集和各种可能的数据源和转换。

在数据存储区的特定情况下，Dataflow提供对数据的读取、写入和删除的支持。例如，请参阅relevant documentation for Python。

您可以在Apache Beam Github存储库中看到有关如何与数据存储进行交互的good example。

这另外两篇文章也可能很有趣：1 2。

Answer 2

我假设你必须遍历每一个文件并更新它，因为在我看来，它是一个类似于mongo的NoSQL数据存储。我们有一个使用SQL和Mongo的系统，而士气低落的数据是一种痛苦，我们必须编写迁移，循环所有的数据并进行更新。