首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏kafka专栏

    spring-kafka】@KafkaListener详解与使用

    属性concurrency将会从容器中获取listen.concurrency的值,如果不存在就默认用3

    24K81发布于 2021-07-14
  • 来自专栏XINDOO的专栏

    spring-kafka中ContainerProperties.AckMode详解

    后来偶然发现我们在代码中使用了spring-kafka的AckMode中的MANUAL_IMMEDIATE,这个模式下kafka的consumer会向服务端手动确认每一条消息,后来我们将这个配置调整成了 实际上在spring-kafka中并不是只提供了MANUAL和MANUAL_IMMEDIATE两种ack模式,而是有以下七种,每种都有各种的作用和适合的场景。

    1.4K20编辑于 2023-09-16
  • 来自专栏全栈程序员必看

    spring-kafka】@KafkaListener详解与使用

    属性concurrency将会从容器中获取listen.concurrency的值,如果不存在就默认用3

    2.6K10编辑于 2022-11-04
  • 来自专栏johnhuster

    spring-kafka之请求响应模式

            kafka是一款性能强劲的分布式流式处理软件,被广泛用于大数据应用场景。所以很多小伙伴对kafka肯定不会陌生,但是kafka的请求响应模式估计使用的却不一定很多。首先简单唠叨下什么是请求响应模式,这个类似于http请求一样发出请求能够在一个请求中返回结果,所以这种场景跟小伙伴大部分使用kafka的场景肯定不大一样,但是这种模式却可以简化下述场景的使用:

    47720编辑于 2023-10-16
  • 来自专栏kl的专栏

    IDEA导入Spring-kafka项目Gradle编译失败

    前言 最近在弄kafka相关的东东,因为是spring boot工程,所以用到了Spring-kafka,一个包含了kafka-producer和kafka-consumer自动装配的依赖。 为了进一步研究spring是如何封装的kafka官方客户端的细节,所以从github上拉到了源码准备研究下,在导入到IDEA中时,因为Spring-kafka工程使用的是Gradle,导入时就编译失败了 Spring-kafka地址:https://github.com/spring-projects/spring-kafka 异常信息如下: java.lang.AbstractMethodError gradle-dependency-management' using classpath or distribution directory 'E:\runtime\gradle-4.6' 所以如果你也是编译Spring-kafka

    69130编辑于 2023-11-18
  • 来自专栏kafka专栏

    【kafka异常】使用Spring-kafka遇到的坑

    有想进滴滴LogI开源用户群的加我个人微信: jjdlmn_ 进群(备注:进群) 群里面主要交流 kakfa、es、agent、LogI-kafka-manager、等等相关技术; 群内有专人解答你的问题 对~ 相关技术领域的解答人员都有; 你问的问题都会得到回应

    6.8K40发布于 2021-07-14
  • 来自专栏搜云库技术团队

    SpringBoot 整合 Spring-Kafka 深度探秘,踩坑实战

    Spring创建了一个项目Spring-kafka,封装了Apache 的Kafka-client,用于在Spring项目里快速集成kafka。 除了简单的收发消息外,Spring-kafka还提供了很多高级功能,下面我们就来一一探秘这些用法。 </groupId> <artifactId>spring-kafka</artifactId> <version>2.2.6.RELEASE</version> Spring-kafka的各种用法,发现了很多好玩很酷的特性,比如,一个注解开启嵌入式的Kafka服务、像RPC调用一样的发送\响应语义调用、事务消息等功能。 希望此博文能够帮助那些正在使用Spring-kafka或即将使用的人少走一些弯路少踩一点坑。 来源:http://suo.im/5qTJLY

    4.6K20发布于 2019-11-21
  • 来自专栏微信公众号:Java团长

    实战:彻底搞定 SpringBoot 整合 Kafka(spring-kafka深入探秘)

    Spring创建了一个项目Spring-kafka,封装了Apache 的Kafka-client,用于在Spring项目里快速集成kafka。 除了简单的收发消息外,Spring-kafka还提供了很多高级功能,下面我们就来一一探秘这些用法。 </groupId> <artifactId>spring-kafka</artifactId> <version>2.2.6.RELEASE</version> </dependency> 添加配置 Spring-kafka的各种用法,发现了很多好玩很酷的特性,比如,一个注解开启嵌入式的Kafka服务、像RPC调用一样的发送\响应语义调用、事务消息等功能。 希望此博文能够帮助那些正在使用Spring-kafka或即将使用的人少走一些弯路少踩一点坑。 扫描上方二维码获取更多Java干货

    54.8K76发布于 2019-11-21
  • 来自专栏kafka专栏

    spring-kafka】属性concurrency的作用及如何配置(RoundRobinAssignor 、RangeAssignor)

    这个得看我们给Topic设置的分区数量; 总的来说就是 机器数量*concurrency <= 分区数

    5.9K20发布于 2021-07-14
  • 来自专栏写代码和思考

    kafka 学习笔记 3 - Java 使用 kafka 收发消息

    1、添加依赖 新建一个项目,并添加依赖: <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId 扩展 Spring-kafka 的文件值得一下看:https://docs.spring.io/spring-kafka/docs/current/reference/html/#configuring-topics

    96050发布于 2021-07-20
  • 来自专栏知了一笑

    SpringBoot3集成Kafka

    partition` in (0) and msg like '%5%' order by `date` desc limit 3 三、工程搭建 1、工程结构 2、依赖管理 这里关于依赖的管理就比较复杂了,首先spring-kafka 组件选择与boot框架中spring相同的依赖,即6.0.10版本,在spring-kafka最近的版本中3.0.8符合; 但是该版本使用的是kafka-clients组件的3.3.2版本,在Spring 文档的kafka模块中,明确说明spring-boot:3.1要使用kafka-clients:3.4,所以从spring-kafka组件中排除掉,重新依赖kafka-clients组件; <dependency > <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version

    1.3K20编辑于 2023-09-01
  • 来自专栏技术专家成长之路

    Java实现Kafka生产者和消费者的示例

    : {}", message); messages.add(message); } return messages; } } 方式二:spring-kafka 使用kafka-clients需要我们自己创建生产者或者消费者的bean,如果我们的项目基于SpringBoot构建,那么使用spring-kafka就方便多了。 引入依赖 在pom.xml文件中,引入spring-kafka依赖: <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.3.12.RELEASE</version> </dependency> 生产者 在application.yml

    1.6K20编辑于 2022-04-22
  • 来自专栏发哥说消息队列

    kafka常见报错集合-三

    null key for a compacted topic, or is otherwise corrupt.compression.type 强制设置为none后解决了4、springboot、spring-kafka 、kafka-client三者兼容性详情参考官网:https://spring.io/projects/spring-kafka

    1.4K00编辑于 2024-03-17
  • 来自专栏小工匠聊架构

    Apache Kafka-消费端消费重试和死信队列

    概述 Spring-Kafka 提供消费重试的机制。当消息消费失败的时候,Spring-Kafka 会通过消费重试机制,重新投递该消息给 Consumer ,让 Consumer 重新消费消息 。 默认情况下,Spring-Kafka 达到配置的重试次数时,【每条消息的失败重试时间,由配置的时间隔决定】Consumer 如果依然消费失败 ,那么该消息就会进入到死信队列。 Spring-Kafka 封装了消费重试和死信队列, 将正常情况下无法被消费的消息称为死信消息(Dead-Letter Message),将存储死信消息的特殊队列称为死信队列(Dead-Letter Queue 所以通过设置为 false ,解决报错 logging: level: org: springframework: kafka: ERROR # spring-kafka 同时,Spring-Kafka 使用 FailedRecordTracker 对每个 Topic 的每个 TopicPartition 消费失败次数进行计数,这样相当于对该 TopicPartition

    15.4K41发布于 2021-08-17
  • 来自专栏对线JAVA面试

    集成到ACK、消息重试、死信队列

    Spring 创建了一个项目 Spring-kafka,封装了 Apache 的 Kafka-client,用于在 Spring 项目里快速集成 kafka。 除了简单的收发消息外,Spring-kafka 还提供了很多高级功能,下面我们就来一一探秘这些用法。 </groupId> <artifactId>spring-kafka</artifactId> <version>2.2.6.RELEASE</version> </dependency> 添加配置 ,所以系统性的探索了下 Spring-kafka 的各种用法,发现了很多好玩很酷的特性,比如,一个注解开启嵌入式的 Kafka 服务、像 RPC 调用一样的发送、响应语义调用、事务消息等功能。 希望此博文能够帮助那些正在使用 Spring-kafka 或即将使用的人少走一些弯路少踩一点坑。

    3.8K50编辑于 2022-10-27
  • 来自专栏Java技术栈

    轻松上手 Spring Boot & Kafka 实战!

    --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic Spring Boot 集成 Kafka 实战 1、添加spring-kafka -- spring-kafka--> <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka current-SNAPSHOT/reference/htmlsingle/#boot-features-kafka Spring for Apache Kafka官方文档: https://docs.spring.io/spring-kafka

    1.1K40发布于 2020-04-27
  • 来自专栏实时计算

    spring整合kafka(配置文件方式 消费者)

    Kafka官方文档有 https://docs.spring.io/spring-kafka/reference/htmlsingle/ 这里是配置文件实现的方式 先引入依赖 <dependency > <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.1.0

    1.5K20发布于 2019-08-08
  • 来自专栏实时计算

    spring整合kafka(配置文件方式 生产者)

    Kafka官方文档有 https://docs.spring.io/spring-kafka/reference/htmlsingle/ 这里是配置文件实现的方式 先引入依赖 <dependency > <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.1.0

    1.2K20发布于 2019-08-08
  • 来自专栏码匠的流水账

    聊聊spring对kafka的集成方式

    版的kafka client与spring进行集成 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka outbound channel的适配器 Starting from version 2.0 version this project is a complete rewrite based on the new spring-kafka 具体详见spring cloud stream kafka实例以及spring-cloud-stream-binder-kafka属性配置 doc spring-kafka spring-integration

    3.2K10发布于 2018-09-17
  • 来自专栏Linyb极客之路

    聊聊在springboot项目中如何配置多个kafka消费者

    但很多时候我们会使用spring-kafka来简化开发,可是spring-kafka原生的配置项并没提供多个kafka配置,因此本文就来聊聊如何将spring-kafka进行改造,使之能支持多个kafka kafkaAdmin.setFatalIfBrokerNotAvailable(this.properties.getAdmin().isFailFast());return kafkaAdmin;}}同项目使用多个kafka消费者示例1、在项目的pom引入spring-kafka GAV <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka

    7K21编辑于 2022-08-02
领券