如何从Google Cloud pubsub(gcp)向远程运行的Kafka主题发布消息

Question

需要帮助来获得一些帮助，以发布来自GCP(Google Cloud Pubsub)的所有消息到远程运行的Kafka主题

我使用了"https://powerspace.tech/how-to-stream-data-from-google-pubsub-to-kafka-with-kafka-connect-dbef1c340a76“中的连接器代码，并且能够将数据从GCP移动到Kafka主题。Kafka和连接器在同一台机器上运行，现在我只需要有连接器代码，并将来自PubSub的消息添加到远程运行Kafka主题

Answer 1

将消息从Google Cloud Pub/Sub复制到远程运行的Kafka主题应该与所有内容都位于GCP中没有太大区别。有两个选项：

1. 运行Kafka连接您的Kafka部署。在此场景中，您必须确保运行Kafka的机器有权在端口443上向Google Cloud发出传出请求。
2. 在GCP上运行Kafka (可能在GCE实例中)。您必须将Kafka connect configuration中的bootstrap.servers属性设置为运行Kafka的服务器列表。这意味着这些服务器必须是可公开寻址的，并允许传入连接。