Google Dataprep与消息代理的集成

Question

可以在Dataprep Job中读取表单Kafka或Google Pub/Sub吗？

如果是这样的话，当在visual studio (减去购买或下载工具的能力)上编辑示例时(减去购买或下载工具的能力)，而调试生产流程(相同的“类型”数据“)是在这些工具(在我们最喜欢的IDE上编码Scala/Java )之外的任何工具上执行时，我应该期待什么”最佳实践“部署考虑因素？

Answer 1

没有一种本地方法可以直接从消息系统(如Kafka或Pub/Sub )读取到云数据代表。

我推荐一种替代方法：

1. 将数据流式传输到BigQuery，然后从BQ
2. 读取数据，将流数据写入云存储，然后加载data

这两种方法都需要事先将数据写入中间位置。如果您将来对低延迟、性能或查询能力有需求，我建议您使用BQ。当速度不是很重要的时候，我会推荐低成本的GCS。