关于腾讯云tdmq的基本使用参见《基于腾讯云tdmq消息队列封装SpringBootStarter(一)》,这里我们基于之前的内容在次进行优化封装。 @Bean @ConditionalOnMissingBean(ConsumerCollector.class) @ConditionalOnProperty(name = "tdmq.enable @Bean @ConditionalOnMissingBean(ProducerCollector.class) @ConditionalOnProperty(name = "tdmq.enable : token clusterId: clusterId environmentId: environmentId 源码地址: hongjieWang/spring-boot-starter-tdmq : spring-boot-starter-tdmq (github.com)
问题背景 目前随着技术架构不断演进,特别是微服务分布式技术兴起,很多大型网站逐步采用分布式的消息队列,用于面对流量高峰和异步处理,基于云上的消息队列逐步成为主流,接下来给大家一起介绍下腾讯云消息队列 详细介绍 腾讯云Ckafka Ckafka作为开箱即用的云端消息队列服务,基于开源引擎打造,包含Connector常用插件,集成了安全、数据监控告警、云上服务一键打通等高级特性 腾讯云TDMQ TDMQ是一款基于 Apache 顶级开源项目 Pulsar 自研的金融级分布式消息中间件。 TDMQ 目前已应用在腾讯计费绝大部分场景,包括支付主路径、实时对账、实时监控、大数据实时分析等方面。 image.png Ckafka与TDMQ选项总结 Ckafka与TDMQ都是腾讯云主打的消息队列中间件,都具有高性能,高可靠,支持多种场景。
基于腾讯云tdmq消息队列封装SpringBootStarter(一) 一、环境准备 1.1 注册腾讯云TDMQ ? 创建tdmq集群 创建完成后记录下集群ID(clusterId); 1.2 创建命名空间 创建好集群后,在命名空间中新建命名空间,命名空间名称可以根据实际业务场景进行区分,比如这里创建可以根据测试环境 查看接入地址 在创建tdmq集群时我们需要申请外网访问,这个需要找腾讯的客服开通。 至此,我们开发的基础环境已经准备完成。 </artifactId> <version>${pulsar.version}</version> </dependency> 这里使用的是腾讯云tdmq-pulsar版,这里需要引入pulsar-client . 2.3、创建生产者 首先我们在项目中创建一个config的包路径,新建一个tdmq的配置类TdmqProperties。
01、整体架构 腾讯云 TDMQ for Apache Pulsar(简称 TDMQ Pulsar 版)是基于 Apache Pulsar 开发的一款金融级商业化消息中间件。 因为我们用的是腾讯云,所以 ZooKeeper 部分就直接用了云上的服务,省去了自己维护的麻烦。而 BK 和 Broker 部分,则是由我们自己来管理和维护的。 当然,我们也对这些部分做了一些扩展,主要是为了更好地和云环境集成。 在公有云上提供服务,我们主要关注的是如何与云的标准功能对接。比如,我们添加了计费、云 API 接口、管理控制以及云监控等功能。 以下是云原生与有状态服务的三个关键点: 节点:计算+存储+网络; 有状态服务:存储+网络; 可插拔:云盘+弹性网卡。 所以实际上我们有状态服务,要考虑的就是存储和网络该怎么弹性的去做插拔,为了实现这一点,我们利用腾讯云的能力,采用云盘作为存储,弹性网卡提供网络服务。
作者简介 林宇强 腾讯云高级工程师 专注于消息队列、API 网关、微服务、数据同步等 PaaS 领域。 有多年的开发和维护经验,目前在腾讯云从事 TDMQ for Apache Pulsar 商业化产品方向的研发工作。 整体架构 腾讯云TDMQ for Apache Pulsar(简称TDMQ Pulsar版)是基于 Apache Pulsar 开发的一款金融级商业化消息中间件。 因为我们用的是腾讯云,所以 ZooKeeper 部分就直接用了云上的服务,省去了自己维护的麻烦。而 BK 和 Broker 部分,则是由我们自己来管理和维护的。 所以实际上我们有状态服务,要考虑的就是存储和网络该怎么弹性的去做插拔,为了实现这一点,我们利用腾讯云的能力,采用云盘作为存储,弹性网卡提供网络服务。
还将支持一键迁移开源 RabbitMQ 元数据,实现迁移上云零成本(即将上线)。 功能完备 TDMQ RabbitMQ 版支持原生 RabbitMQ 的各类消息模型。 提供腾讯云平台整套运维服务,实时监控,帮助用户快速发现并解决问题,保证服务的可用性。另外还支持对某个时间段的消息进行快速查询,精准定位您的业务问题。 产品体验入口 腾讯云消息队列TDMQ RabbitMQ 版已经开放公测,欢迎大家使用体验: 扫描二维码,立即体验 在1月6日~1月20日期间特别推出有奖产品体验活动,您可以将产品使用后的建议填写到下方问卷中 ,我们将挑选10个优质的产品体验建议,为您送去腾讯公仔盲盒的礼品; 扫描二维码,填写产品体验调查问卷 往期 推荐 《全面拥抱Go社区:PolarisMesh全功能对接gRPC-Go | PolarisMesh12 月月报》 《SpringBoot应用优雅接入北极星PolarisMesh》 《腾讯云CKafka重磅上线DataHub,让数据流转更简便》 《ZooKeeper系列文章:ZooKeeper 源码和实践揭秘
导语 2025年6月起,腾讯云 TDMQ RabbitMQ 版正式推出 Serverless 版本,该版本基于自研的存算分离架构,兼容 AMQP 0-9-1 协议和开源 RabbitMQ 的各个组件与概念 TDMQ RabbitMQ Serverless 版推出的背景 2021年,腾讯云推出自研消息队列服务 TDMQ RabbitMQ 版,全面兼容 AMQP 0-9-1 协议及开源 RabbitMQ 生态 用户极需突破传统资源预留式运维的局限,充分释放云原生的技术红利。 为更好地满足用户对弹性扩展和成本优化的需求,腾讯云消息队列 TDMQ RabbitMQ 版正式推出 Serverless 版本。 总结与展望 腾讯云推出的 TDMQ RabbitMQ Serverless 版基于自研的存算分离架构,有效兼容开源生态并解决了其固有稳定性问题(如脑裂、不抗堆积),提供高可用、弹性扩缩和按量计费的核心优势 未来腾讯云 TDMQ RabbitMQ Serverless 版将持续优化,推出弹性 TPS 功能以更好应对突发流量,同时做好开源兼容性增强、管控能力升级和可观测工具完善,并深化行业场景应用,助力用户以更低成本
导语 自2024年12月27日起,腾讯云消息队列团队正式发布 TDMQ 产品家族的新成员:TDMQ MQTT 版。 为了更好地帮助这些企业客户拥抱技术变革,加速产业升级和创新,腾讯云分布式消息队列团队也适当其时地推出了面向物联网和车联网的 TDMQ MQTT 版产品。 TDMQ-MQTT 产品的出现,很好地补充了腾讯云消息队列在物联网和车联网场景下的应用,也成为整体产品矩阵中的一块重要的拼图。 TDMQ MQTT 版功能特性 腾讯云 TDMQ MQTT 版产品兼容了 MQTT 标准协议的所有特性,任何开源社区的 MQTT SDK 都可以轻松对接 TDMQ-MQTT 产品,这也进一步降低了客户的迁移门槛 可视化管理和监控能力: 作为标准的云上产品,TDMQ MQTT 对接了腾讯云的指标监控和告警系统。控制台为客户提供了设备和订阅关系等重要开发信息的不同维度展示。
采用腾讯云TDMQ实现存算分离与全托管架构 腾讯云消息队列TDMQ基于存算分离架构和Serverless化弹性伸缩能力,为客户提供一站式消息中间件服务。 实现运维成本显著优化与系统稳定性提升 荣耀通过部署TDMQ,在以下关键指标获得显著改善: 存储成本降低30%-50%(来源:产品核心能力章节); 节点故障恢复时间缩短至秒级(来源:高可用保障描述); 运维效率提升 荣耀全球业务接入场景实践 荣耀在全球范围内将TDMQ应用于运营数据采集、设备状态同步和实时推荐系统等核心场景,成功支撑了亿级设备的稳定接入。 通过TDMQ的全托管服务,荣耀技术团队得以聚焦业务创新,无需关注底层基础设施维护,实现了运维人力投入的显著优化。 腾讯云TDMQ的技术领先性与行业认可 腾讯云TDMQ作为自主研发的云原生消息中间件,已服务零售、金融、出行等3000+企业客户,并获得多项技术认证。
其中腾讯云中间件——分布式消息队列TDMQ凭借其优秀的技术能力,获得了可信云最高级认证证书。 01 TDMQ喜获可信云最高级认证证书 在刚刚过去的“2020可信云大会”在线上大会上,腾讯云中间件——分布式消息队列TDMQ喜获可信云最高级认证证书! 代码编号:No.MQ-0003 TDMQ刚刚出道,便获得了可信云软件认证的最高级证书,这是对产品服务能力和腾讯云中间件技术能力的最佳认可。 ? 02 创新定义,开启消息队列新时代 TDMQ基于开源Pulsar存储计算分离架构,完美支持按量使用无限扩展,专为云而生的消息队列,并兼容主流消息队列产品。 ? 03 超强服务能力 1. 04 更多信息 更多有关TDMQ的信息,请扫描下方二维码。 ? ?
部署TDMQ云原生消息中间件方案 腾讯云提供新一代云原生消息队列TDMQ(自主研发产品系列),通过以下能力针对性解决问题: 一键创建集群与快速扩展容量:满足业务快速迭代需求,轻松应对高并发峰值。 量化应用效果与客户价值 TDMQ落地后实现关键业务指标提升(数据来源:腾讯云消息队列官网及客户实践): 存储成本降低30%-50%(存算分离架构优化存储使用); 节点故障秒级自愈(容灾化步骤保障业务连续性 引入TDMQ后: 通过一键创建集群与快速扩展容量应对高并发,实现跨平台数据传输; 依托TDMQ全托管运维能力,减轻自建集群运维负担; 保障海量设备接入稳定性,支撑业务持续运行(案例来源:腾讯云客户案例 选择腾讯云TDMQ的技术与实践依据 TDMQ以存算分离架构+Serverless化极致弹性突破传统存算一体化局限,技术领先性体现在: 高可用设计:节点、可用区、地域多维度容灾,故障秒级自愈; 智能运维 (数据来源:腾讯云消息队列官网客户列表)。
ckafka、TDMQ Pulsar版、TDMQ RocketMQ 版、TDMQ RabbitMQ 版和TDMQ CMQ 版功能上有啥区别 消息队列 CKafka(Cloud Kafka)是基于开源 Apache TDMQ Pulsar版、TDMQ RocketMQ 版、TDMQ RabbitMQ 版和TDMQ CMQ 版都是基于pulsar的多协议支持的实现,具备计算存储分离,灵活扩缩容的底层优势。 可以根据自己的业务需求进行消息队列的选型,如有疑问或不同的建议,欢迎留言 ckafka Pulsar TDMQ RocketMQ 版 TDMQ RabbitMQ 版 TDMQ CMQ 版 吞吐量 实例带宽 重置offset 消费位点重置15天 消费位点重置 15天 无 支持(15天) 定时消息 无 支持(10天以内) 40天 40天 支持 延时消息 无 消息最大延时10天 40天 40天 支持 事务 腾讯云
TDMQ 是腾讯云基于 Apache Pulsar 开源项目开发的消息队列产品,主打金融等行业应用,适用于对消息通讯要求高可靠、强一致的场景。 安全&信创合规 TDMQ 与腾讯云专有云平台深度集成,支持后端组件日志统一管理,监控指可视化,自定义告警,操作可追溯,管控 API 开放集成等运维能力,满足国家等保3级要求。 除此以外,TDMQ 还可以在 X86/ARM 芯片架构,国际和国内的主流操作系统下正常运行,支持 "一云多芯" 混部模式,满足信创项目的要求。 案例分享 腾讯计费平台千亿级别流水大盘 某电商客户秒杀场景 电商场景的特价、秒杀等活动,可以在业务处理上利用消息队列做服务分级,优先处理资金、库存的计算,对于积分、活动回馈、消息通知等可以转移至 TDMQ 目前腾讯和 Pulsar 社区有着非常密切的合作,TDMQ 的核心研发人员中有多位 Pulsar 的委员会成员,持续为开源社区贡献代码。
导语 2021年12月1日,腾讯云分布式消息队列 TDMQ Pulsar 版正式商业化。 TDMQ Pulsar 版是一款经历了3年千亿级交易流水考验的消息队列,也是目前真正做到计算与存储分离的云消息队列,从架构上实现了云原生无状态,更加迎合Serverless的趋势。 高性能低延迟 TDMQ Pulsar 版能够高效支持百万级消息生产和消费以及海量消息堆积,支撑了腾讯计费所有场景;性能方面,单节点可承载 QPS 超过10万,同时在时耗方面有保护机制确保低延迟。 Pulsar 版,轻松上云,享受腾讯云提供的 7*24小时的专业消息队列服务支持,享受高可用消息队列服务,无需关注运维细节。 目前已应用在腾讯计费绝大部分场景,包括支付主路径、实时对账、实时监控、大数据实时分析等方面。截至2021年11月底,消息队列 TDMQ Pulsar 版已有上百家活跃的企业用户。
ckafka、TDMQ Pulsar版、TDMQ RocketMQ 版、TDMQ RabbitMQ 版和TDMQ CMQ 版功能上有啥区别 消息队列 CKafka(Cloud Kafka)是基于开源 Apache TDMQ Pulsar版、TDMQ RocketMQ 版、TDMQ RabbitMQ 版和TDMQ CMQ 版都是基于pulsar的多协议支持的实现,具备计算存储分离,灵活扩缩容的底层优势。 可以根据自己的业务需求进行消息队列的选型,如有疑问或不同的建议,欢迎留言 ckafka Pulsar TDMQ RocketMQ 版 TDMQ RabbitMQ 版 TDMQ CMQ 版 吞吐量 实例带宽 重置offset 消费位点重置15天 消费位点重置 15天 无 支持(15天) 定时消息 无 支持(10天以内) 40天 40天 支持 延时消息 无 消息最大延时10天 40天 40天 支持 事务 腾讯云
资源隔离 为更好适配云上使用的场景,TDMQ RocketMQ版做了多层级的资源结构,不仅基于命名空间做了虚拟隔离,也在集群维度做了物理隔离。 提供腾讯云平台整套运维服务,实时监控告警,帮助用户快速发现并解决问题,保证服务的可用性。 产品体验入口 腾讯云消息队列TDMQ RocketMQ 版已经开放公测,欢迎大家使用体验: 扫描二维码,立即体验 扫码进行公测的用户可同时扫码进入TDMQ RocketMQ的官方用户群,群内有腾讯云消息队列团队专业的技术人员 《腾讯云消息队列TDMQ RabbitMQ 版开启公测,文末有惊喜!》 《全面拥抱Go社区:PolarisMesh全功能对接gRPC-Go | PolarisMesh12月月报》 《SpringBoot应用优雅接入北极星PolarisMesh》 《腾讯云CKafka重磅上线
部署存算分离与无服务器架构中间件 为解决系统复杂性与资源弹性问题,腾讯云推出自主研发的新一代云原生消息队列产品系列 TDMQ,提供高稳定性、高弹性的异步通信基础能力。 释放底层资源并量化业务系统收益 TDMQ 的应用直接降低了企业 IT 基础设施的资金消耗,并大幅提升了系统的并发处理极限与运维响应速度。 业务现状与收益如下: 承接数亿级设备接入: 依托 TDMQ 高吞吐高可用特性,支持海量设备的 MQTT 消息写入与消费,保障设备与云平台之间的稳定连接和高效数据传输。 沉淀大规模云原生异步通信落地实践 凭借底层核心技术的自主研发优势,腾讯云 TDMQ 已在云上积累了 3000+ 活跃用户,广泛覆盖出行、泛互联网、教育、零售、金融及消费电子等多个行业。 (千万级设备并发),TDMQ 均展现出了高度的技术确定性与极低的接入成本,成为企业构建敏捷、低耗 IT 架构的核心组件。
"腾讯云微服务与消息队列专场",旨在带大家深入了解腾讯云消息队列TDMQ和微服务产品系列的全新能力发布。 议题及嘉宾介绍 议题1:TDMQ RocketMQ 5.0 Serverless 产品形态全新升级 消息队列 TDMQ 是腾讯云的消息队列产品系列,包括CKafka、RocketMQ、RabbitMQ、 作为腾讯云的分布式消息中间件,TDMQ RocketMQ版具备低延迟、高性能、高可靠、万亿级消息容量和灵活可扩展等特点。 腾讯云TDMQ RocketMQ版将带来更多产品化的功能,助力您的业务升级。 嘉宾介绍:纪宇鹏,腾讯云分布式消息队列 TDMQ 产品经理,拥有多年云计算产品设计经验,主导并参与多款消息队列产品的设计和商业化工作,帮助企业客户在分布式架构下更好地利用消息队列满足业务需求,致力于将开源技术红利和架构优势应用到商业化产品中
为了解决应用耦合,合理进行流量削锋,腾讯云提供了包括 CKafka 和 TDMQ 在内的一系列消息队列中间件。 为了更方便地对消息队列中的数据进行转存和持久化,腾讯云对象存储 COS 为用户提供了云消息队列备份的能力。 一、云消息队列备份方案-使用 COS 应用集成备份 COS 应用集成 是腾讯云对象存储 COS 基于 Serverless 云函数,为开发者提供的存储数据应用解决方案。 消息队列 TDMQ (Tencent Distributed Message Queue)是腾讯基于 Apache Pulsar 自研的一个云原生消息中间件系列,其中包含兼容 Pulsar、RabbitMQ 四、备份任务设置步骤 这里以设置 CKafka 消息备份任务为例,TDMQ 设置与之相似: 登录腾讯云 对象存储 COS 控制台。 在左侧导航中,单击【应用集成】,找到【CKafka消息备份】。
关于王者荣耀 《王者荣耀》是由腾讯游戏开发的一款运营在 Android、IOS 平台上的 MOBA 类手游,属于多人联机在线竞技类游戏,于2015年11月26日在 Android、IOS 平台上正式公测 在场景支撑方面,TDMQ Pulsar 版承载了腾讯计费、中国银行、FiT 等金融场景下的核心交易链路,同时也服务了火影忍者、蛙扑等游戏客户。从各方面来说,都非常匹配王者荣耀的需求。 TDMQ Pulsar 版产品介绍 腾讯云 TDMQ for Apache Pulsar 版(简称TDMQ Pulsar版)是基于 Apache Pulsar 自研的消息中间件,具备极好的云原生和 Serverless 目前 TDMQ Pulsar 版已经有较大规模的应用,如王者荣耀、猫眼、微民保险、QQ 音乐、领星、长安汽车等,以及包括腾讯计费绝大部分场景,包括支付主路径、实时对账、实时监控、大数据实时分析等方面。 TDMQ Pulsar 版在王者荣耀中的应用方式 弹性能力 得益于存算分离的架构,使得 TDMQ Pulsar 版高度契合云原生,具有极强的可扩展性,为王者荣耀业务量的变化提供快速扩容能力,同时具备的热升级能力