如何从NiFi工作流出发在GCP发布子主题上发布实时消息

Question

上下文：

我有多个应用程序的前提是发布实时消息的企业卡夫卡和安慰队列。信息的体积和速度相当大。从现在起，这些消息被消息处理模块消耗，并存储到实时数据存储的前提下。我们计划在GCP上移动消息处理模块和实时数据存储。

问题陈述：

由于消息处理模块和实时数据存储正在转移到GCP，因此需要发布/推送消息，从“假设的Kafka主题和Solace队列到GCP主题”。

为此，我计划在OnPre前提NiFi集群上编写一个NiFi工作流。如果已经做过类似的尝试，如果有人分享想法，那就太好了。

Answer 1

我与卡夫卡和GCP PubSub都做过短暂的工作。我并不经常使用Solace，但据我所知，您可能需要在nifi-hms-bundle上做一些代码更改，以自定义JMS控制器服务，使其具有标准的JNDI连接工厂，之后您可以利用NiFi的ConsumeJMS和PublishJMS处理器来读写Solace队列。

所以一般来说，你的流量会是这样的：

​

​

• 您已经将ConsumeKafka配置为正确的主题，ConsumeJMS配置为使用自定义JNDIConnectionFactoryProvider而不是内置JMSConnectionFactoryProvider。
• 连接这两个处理器的success输出，并将其与PublishGCPPubSub连接。

我建议使用基于记录的ConsumeKafka处理器。选择计算卡夫卡API版本的处理器。

1 https://dev.solace.com/integration-guides/nifi/