如何从云数据存储迁移到云Spanner？

Question

我正在查看数据流，以尝试将数据从Datastore导出到Spanner。扳手似乎只接受通过数据流连接器的avro文件。我能找到的唯一数据流模板是从数据存储到文本文件。并且数据存储区导出服务仅导出为levelDB格式。任何线索都会很有帮助，谢谢！

Answer 1

我最终得到的解决方案是提取csv格式的数据，然后使用PySpark转换为Avro。最后将数据流插入到扳手中。

Answer 2

另一种可能的方法是从数据存储区导出到Avro 1。然后，BigQuery可以导出到BigQuery文件到GCS2，该文件可以导入到云扳手3。

1

2

3

Answer 3

有从其他关系数据库(如MySQL或PostgreSQL )迁移到扳手的指南，但如果您想要将数据从NoSQL数据库(如数据存储)迁移到关系数据库(如扳手)，我找不到任何指南。

你可以尝试的一件事是数据流。数据流从数据存储读取(叉车或执行一些数据处理)，然后使用SpannerIO写入扳手。I/O transforms。Querying Datastore with Python也可能会给你一个想法。