Google云扳手通过云数据融合或其他方法将数据捕获实时更改为PubSub/Kafka

Question

我想实现一个实时变化的数据捕获(基于日志的首选)管道从谷歌云扳手到PubSub/Kafka我的下游实时应用程序。你能告诉我，如果有一个伟大和成本效益的方法来实现这一点吗？如有任何意见和建议，我将不胜感激。

此外，对于来自google的云数据融合，我注意到它可以实现从mysql/postgresql到云扳手的实时，但我没有找到从云扳手到pubsub/kafka的实时方式。

此外，我还发现了另外两种方法，在这里列出任何评论或建议。

1. 使用Debezium，一种基于日志的更改数据捕获来自链接云层的Kafka连接器。
2. 创建轮询服务(可能会丢失一些数据)，以便从链接：https://cloud.google.com/architecture/deploying-event-sourced-systems-with-cloud-spanner中轮询云扳手的数据。

如果你对此有任何建议或评论，我将非常感激。

Answer 1

有一个用于云扳手的轮询服务的开源实现，它还可以自动将更改推送到PubSub：https://github.com/cloudspannerecosystem/spanner-change-watcher

然而，它是，而不是基于日志的。它有一些固有的局限性：

• 如果同一记录在轮询间隔内更新两次，则可能会错过更新。在这种情况下，只报告最后一个值。
• 它只支持软删除。

您可以查看这些示例，看看它是否适合您的需求，至少在某种程度上是这样的：https://github.com/cloudspannerecosystem/spanner-change-watcher/tree/master/samples

Answer 2

云扳手有一个名为变更流的新特性，它将允许构建一条从扳手到PubSub/Kafka的下游管道。

此时，还没有一个预封装扳手到PubSub/Kafka连接器。

目前实现读取更改流的方法是使用SpannerIO ApacheBeam连接器，它允许使用Dataflow构建管道，或者也可以直接查询API。

免责声明:我是一个与云扳手团队一起工作的开发者倡导者。