首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >无法在阿尔帕卡使用Transactional.Sink生成消息到Kafka主题,但我看到幂等生成器已启用

无法在阿尔帕卡使用Transactional.Sink生成消息到Kafka主题,但我看到幂等生成器已启用
EN

Stack Overflow用户
提问于 2020-03-21 08:41:02
回答 1查看 50关注 0票数 0

您好,我正在尝试使用生产者api,如Alpakka文档中所示。我可以使用事务源使用记录,生产者被创建,但不能将消息放到主题中,不能使用阿尔帕卡中的Transactional.Sink生成主题,但我看到幂等生产者已启用。我看到日志表明它正在进入逻辑,但它没有向myTopic生成事件

clientId=producer-7fe8789c-3171-429e-afbf-d8a8ba12700c,transactionalId=7fe8789c-3171-429e-afbf-d8a8ba12700c o.a.k.c.p.KafkaProducer - Producer info启用了幂等生成器。

您能帮我解释一下为什么它不能生成主题消息吗?

我使用docker在本地运行我的代码

下面是我的代码

代码语言:javascript
复制
``` Transactional.source(consumerSettings,
代码语言:javascript
复制
        Subscriptions.topics(topicNames))
代码语言:javascript
复制
        .mapMaterializedValue(innerControl = _)
代码语言:javascript
复制
        .map(consumerRecord => {
代码语言:javascript
复制
          handleBusiness(consumerRecord)
代码语言:javascript
复制
            .flatMap(res => Source.single(res)
代码语言:javascript
复制
                   .runWith(Transactional.sink(producerSettings, 
代码语言:javascript
复制
                                       UUID.randomUUID().toString)))
代码语言:javascript
复制
        })
代码语言:javascript
复制
    }
代码语言:javascript
复制
      source.runWith(Sink.ignore)
代码语言:javascript
复制
```javascript

我的handleBusiness逻辑如下所示:

代码语言:javascript
复制

私有定义handleBusiness(consumedMessage: ConsumerMessage.TransactionalMessageString,String):Future[EnvelopeString,String,PartitionOffset] ={

代码语言:javascript
复制
   (conversion of consumedMessage ) map { message =>
代码语言:javascript
复制
        ProducerMessage.single(new ProducerRecord("myTopic", consumedMessage.record.key, message ), consumedMessage.partitionOffset)
代码语言:javascript
复制
 }

}`

代码语言:javascript
复制
EN

回答 1

Stack Overflow用户

发布于 2020-05-21 02:47:29

我可以使用一个流来做这件事,事务源也需要有一个Sink/Flow,如下所示

代码语言:javascript
复制
Transactional.source(consumerSettings,
                      Subscriptions.topics(topicNames))
                      .mapMaterializedValue(innerControl = _)
                      .mapAsync(5) { msg => business(msg)}
                      .via(Transactional.flow(producersettings, transactions-id))
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/60783386

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档