- 综合排序
- 最热优先
- 最新优先
- 来自专栏userlyz学习记录
消息中间件
消息中间件 RabbitMq ActiveMQ RocketMQ kafka 安装RabbitMQ (33条消息) RabbitMQ安装教程（超详细）_凡尘-追梦者的博客-CSDN博客 为什么要使用消息队列 简单模式下交换机会使用默认的 "" 2. routingKey：路由名称 3. props：配置信息 4. body：发送消息数据 */ Bean public Queue queue(){ return new Queue("queue",true); } } 发送请求 @Service @Slf4j ："+message); rabbitTemplate.convertAndSend("queue",message); } } 接收消息 @Service @Slf4j @Service @Slf4j public class MQSender { @Autowired private RabbitTemplate rabbitTemplate;
80330编辑于 2023-10-18 - 来自专栏二进制文集
消息中间件
消息中间件的应用场景 主流 MQ 框架及对比 说明 Kafka 优点 Kafka 缺点 RocketMQ Pulsar 发展趋势 各公司发展 Kafka Kafka 是什么？ [2021-01-24-092401.png] 消息中间件的应用场景 异步解耦 削峰填谷 顺序收发 分布式事务一致性 腾讯应用案例： [2021-01-24-093404.png] 主流 MQ 框架及对比 开源的消息引擎系统（消息队列/消息中间件） 分布式流处理平台 发布/订阅模型 削峰填谷 Kafka 术语 Topic：发布订阅的主题 Producer：向Topic发布消息的客户端 Consumer：消费者 为了保证最终一致，消息系统和业务程序需要保证： 消息发送的一致性：消息发送时，一阶段事务和消息发送必须同时成功或失败 消息存储不丢失：消息发送成功后，到消息被成功消费前，消息服务器（broker）必须存储好消息 （第6步） 3 DB操作失败：生产者在第 4 步告知 broker 回滚半消息 4 提交/回滚半消息失败：broker 等不到这个操作，触发回查（第 6 步） 5、6、7回查失败：RocketMQ 最多回查
1.4K41发布于 2021-01-26 - 来自专栏匠心独运的博客
消息中间件—RocketMQ消息发送
在阅读本篇之前希望读者能够先仔细读下关于RocketMQ分布式消息队列Remoting通信模块的两篇文章： （1）消息中间件—RocketMQ的RPC通信（一） （2）消息中间件—RocketMQ的 RocketMQ消息代理服务器备份节点，主要是通过同步/异步的方式将主节点的消息同步过来进行备份，为RocketMQ集群的高可用性提供保障； （4）Producer（消息生产者）：在这里为普通消息的生产者 客户端网络通信服务、重新负载均衡服务以及其他若干个定时任务（包括，更新路由/清理下线Broker/发送心跳/持久化consumerOffset/调整线程池），并重新做一次启动（这次参数为false）； （4） （优化网络数据包发送）c.SEND_BATCH_MESSAGE（消息批量发送） （4）根据获取到的Broke代理服务器地址，将封装好的RemotingCommand数据包发送对应的Broker上，默认发送超时间为 Create new topic by default topic:[TBW102] config:[TopicConfig [topicName=TopicTest, readQueueNums=4,
3.1K30发布于 2018-09-05 - 来自专栏Pixel Fandom
消息中间件 Kafka
简介 消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下扩展进程间的通信。 常用消息中间件对比 特性 ActiveMQ RabbitMQ RocketMQ Kafka 开发语言 java erlang java scala 单机吞吐量 万级 万级 10万级 10万级 时效性 ms 选择建议 消息中间件 建议 Kafka 追求高吞吐量，适合产生大量数据的互联网服务的数据收集业务 RocketMQ 可靠性要求很高的金融互联网领域,稳定性高，经历了多次阿里双11考验 RabbitMQ 性能较好，社区活跃度高，数据量没有那么大，优先选择功能比较完备的RabbitMQ 4. ，短信通知必须要有顺序 …… kafka 集群托管 4 个分区（P0-P3），2 个消费者组，消费组 A 有 2 个消费者，消费组 B 有 4 个 topic 分区中消息只能由消费者组中的唯一一个消费者处理
1.3K40编辑于 2023-03-04 - 来自专栏IT技术订阅
消息中间件-RabbitMQ
，由Erlang（专门针对于大数据高并发的语言）语言开发，可复用的企业消息系统，是当前最主流的消息中间件之一，具有可靠性、灵活的路由、消息集群简单、队列高可用、多种协议的支持、管理界面、跟踪机制以及插件机制 4.什么地方使用RabbitMQ 1.在常见的单体架构中，主要流程是用户UI操作发起Http请求>服务器处理>然后由服务器直接和数据库交互，最后同步反馈用户结果 2.在微服务架构中，例如下图中的员工管理系统 4.Exchange（交换机） 我们通常认为生产者将消息投递到Queue中，实际上实际的情况是，生产者将消息发送到Exchange，由Exchange将消息路由到一个或多个Queue中（或者丢弃），而在 环境安装 1.下载RabbitMQ 2.运行环境erlang 3.安装完成之后，加载RabbitMQ管理插件 rabbitmq-plugins enable rabbitmq_management 4. // 每一次一个消费者只成功消费一个) channel.BasicQos(0, 1, false); 4.如何保证消息不被重复消费（幂等性） 1.生产时消息重复 由于生产者发送消息给MQ，在MQ确认的时候出现了网络波动
88810编辑于 2022-06-23 - 来自专栏用户8506532的专栏
消息中间件RabbitMQ
消息中间件RabbitMQ 1.什么是消息中间件 MQ全称为Message Queue，消息队列是应用程序和应用程序之间的通信方法。 为什么使用MQ？ 但是因为消息积压，在高峰期过后的一段时间内，消费消息的速度还是会维持在1000QPS，直到消费完积压的消息,这就叫做**“填谷”** 3. 3.2 JMS JMS 即Java消息服务（JavaMessage Service）应用程序接口，是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息 JMS 规定了两种消息模式； AMQP的消息模式更加丰富 4.多种消息中间件 常见的消息队列有如下： ActiveMQ：基于 JMS ZeroMQ：基于 C 语言开发 RabbitMQ：基于 AMQP Message Queue 高级消息队列协议）协议实现的消息队列，它是一种应用程序之间的通信方法，消息队列在分布式系统开发中应用非常广泛。
76620编辑于 2021-12-06 - 来自专栏转行程序员
扫盲消息队列 | 消息中间件 | Kafka
大型分布式系统建设中，消息队列主要解决应用耦合、异步消息、流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 消息发布者只管把消息发布到 MQ 中而不用管谁来取，消息使用者只管从 MQ 中取消息而不管是谁发布的。这样发布者和使用者都不用知道对方的存在。 4]、Apache Qpid[5]、Apache RocketMQ[6]和HTTPSQS。 IBM MQ：它是一个消息传递中间件，可以简化和加速跨多个平台的不同应用程序和业务数据的集成。它提供了经过验证的企业级消息传递功能，能够熟练而安全地移动信息。 消息队列有什么优点和缺点？ 那为什么Kafka的吞吐量远高于其他同类中间件？ 比较重要的关键字吗？比如Producer，Consumer，Partition，Broker，你都是怎么理解的？
2.2K11发布于 2020-04-26 - 来自专栏匠心独运的博客
消息中间件—RocketMQ消息消费（一）
在阅读本篇之前希望读者能够先仔细阅读下关于RocketMQ分布式消息队列的前几篇文章： （1）消息中间件—RocketMQ的RPC通信（一） （2）消息中间件—RocketMQ的RPC通信（二） （3）消息中间件—RocketMQ消息发送 一、如何选择消息消费的方式—Pull or Push？ 1.1 MQ中Pull和Push的两种消费方式 对于任何一款消息中间件而言，消费者客户端一般有两种方式从消息中间件获取消息并消费： （1）Push方式：由消息中间件（MQ消息服务器代理）主动地将消息推送给消费者 概括起来地说就是“慢消费问题”)，而MQ不断地向消费者Push消息，消费者端的缓冲区可能会溢出，导致异常； （2）Pull方式：由消费者客户端主动向消息中间件（MQ消息服务器代理）拉取消息；采用Pull MQClientInstance中注册consumer等任务； （4）启动MQClientInstance实例，其中包括完成客户端网络通信线程、拉取消息服务线程、负载均衡服务线程和若干个定时任务的启动
2.2K30发布于 2018-09-05 - 来自专栏Cyylog技术
RabbitMQ消息中间件
RabbitMQ 消息中间件 1、消息中间件 1、简介 消息中间件也可以称消息队列，是指用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。 2、作用 1、消息中间件主要作用 解耦 冗余(存储) 扩展性 削峰 可恢复性 顺序保证 缓冲 异步通信 2、消息中间件的两种模式 1、P2P模式 P2P模式包含三个角色：消息队列（Queue）、发送者( ,是应用层协议的一个开放标准,为面向消息的中间件设计。 基于此协议的客户端与消息中间件可传递消息，并不受客户端/中间件不同产品，不同的开发语言等条件的限制。 4、什么和是消息队列 MQ 全称为Message Queue, 消息队列。 4、RabbitMQ 集群部署及配置 消息中间件RabbitMQ，一般以集群方式部署，主要提供消息的接受和发送，实现各微服务之间的消息异步。以下将介绍RabbitMQ+HA方式进行部署。
1.4K30发布于 2020-08-19 - 来自专栏软件工程
消息中间件RabbitMQ
它是应用层协议的一个开放标准，为面向消息的中间件设计，基于此协议的客户端与消息中间件可传递消息，并不受产品、开发语言等条件的限制。 消息消费者订阅队列，RabbitMQ将Queue中的消息发送到消息消费者。 消息消费者就是通过订阅队列来获取消息的，RabbitMQ中的消息都只能存储在Queue中 生产者生产消息并最终投递到Queue中消费者可以从Queue中获取消息并消费。 VirtualHost：权限控制的基本单位 一个VirtualHost里面有若干Exchange和MessageQueue，以及指定被哪些user使用 我来一句话总结下我理解消息中间件 类似于厨师做完菜只管把菜送给服务员就可以忙自己的事了 3.管理界面比较好看,功能强大 4.最主要的是文档比较完善,我们之前团队一直用的都是这个RabbitMQ
57820编辑于 2022-05-13 - 来自专栏Chasays
消息中间件-MQ
中间件是什么 中间件是计算机软件，它为操作系统以外的软件应用程序提供服务。它可以被描述为“软件粘合剂”。 中间件使软件开发人员更容易实现通信和输入/输出，因此他们可以专注于应用程序的特定用途。 在这种更具体的意义上，中间件可以描述为客户机-服务器中的破折号(“-”) ，或者对等网络中的对等网络。中间件包括 web 服务器、应用服务器、内容管理系统以及支持应用程序开发和交付的类似工具。 数据库访问服务通常被描述为中间件。其中一些是特定于语言的实现，并支持异构特性和其他相关的通信特性。面向数据库中间件的例子包括 ODBC、 JDBC 和事务处理监视器。 消息中间件 MQ 消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。 当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发RocketMQ等。
1.3K20编辑于 2021-12-06 - 来自专栏方法论
消息中间件简介
通过提供消息传递和消息排队模型,它可以在分布式环境下扩展进程间的通信。 消息队列中间件,也可以称为消息队列或者消息中间件。 图1-1 应用通过消息中间件进行通讯 消息中间件将消息路由给应用程序B,这样消息就可存在于完全不同的计算机上。 消息中间件负责处理网络通信,如果网络连接不可用,消息中间件会存储消息,直到连接变得可用,再将消息转发给应用程序B.灵活性的另一方面体现在,当应用程序A发送其消息时,应用程序B甚至可以处于不运行状态,消息中间件将保留这份消息 消息中间件的作用 消息中间件凭借其独到的特性,在不同的应用场景下可以展现不同的作用。总的来说,消息中间件的作用可以概括如下。 解耦:在项目启动之初来预测将来会碰到什么需求是极其困难的。 消息中间件降低了进程闻的耦合度,所以即使一个处理消息的进程挂掉,加入消息中间件中的消息仍然可以在系统恢复后进行处理。
1.5K30发布于 2020-04-14 - 来自专栏Java架构师必看
消息中间件选型
消息中间件选型 常用的 MQ组件有 Kafka、RabbitMQ、RocketMQ、ActiveMQ、ZeroMQ、MetaMQ。 并发能力很强，性能及其好，延迟极低，管理界面丰富 MQ功能比较完备，扩展性强 成熟的产品，在很多公司得到应用，有很多成熟的文档，支持各种协议 一、中间件选型 ---- Kafka Kafka 是 LinkedIn 号称大数据的杀手锏，谈到大数据领域内的消息传输，则绕不开Kafka，这款为大数据而生的消息中间件，以其百万级TPS（单机写入TPS约在百万条/秒**）**的吞吐量名声大噪，迅速成为大数据领域的宠儿，在数据采集 RocketMQ RocketMQ是阿里开源的消息中间件，它是纯 Java开发，具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。 在同步发送场景中，三个消息中间件的表现区分明显： Kafka Kafka 的吞吐量高达17.3w/s，是高吞吐量消息中间件的行业老大。这主要取决于它的队列模式保证了写磁盘的过程是线性IO。
2.3K20发布于 2021-04-25 - 来自专栏匠心独运的博客
消息中间件—RocketMQ消息消费（三）（消息消费重试）
这里先回顾往期RocketMQ技术分享的篇幅： （1）消息中间件—RocketMQ的RPC通信（一） （2）消息中间件—RocketMQ的RPC通信（二） （3）消息中间件—RocketMQ消息发送 （4）消息中间件—RocketMQ消息消费（一） （5）消息中间件—RocketMQ消息消费（二）（push模式实现） 一、其他MQ中间件消费端可靠性的保障 在业务开发中，大家一定都遇到过业务工程因为各类异常 （可能是业务工程本身的异常、JVM内存异常或者系统所在的虚拟机宕机等），而导致MQ中间件发送过来的业务消息消费失败而无法再次消费该消息的情况。 目前，很多MQ消息中间件都有相应的机制和方法来保证Consumer端消费消息的可靠性。下面先来看看RabbitMQ和Kafka这两款MQ消息中间件是如何来保证消费者端消息处理的可靠性的呢？ delayLevel，并且与定时延迟队列相对应，具体源码如下： //省略 private String messageDelayLevel = "1s 5s 10s 30s 1m 2m 3m 4m
4.4K40发布于 2018-09-05 - 来自专栏Rust语言学习交流
【Rust投稿】从零实现消息中间件(4)-SERVER.CLIENT
主要功能包括 接收消息 收到sub消息,就记录到全局列表中 收到pub消息,就发送给相关订阅的client 出错,删除订阅,关闭连接 数据结构定义 Client中除了cid以外,其他两项都使用了 msg_sender: 之所以用Mutex保护是因为除了client自己要发送消息,当其他client pub消息的时候也要通过这个ClientMessageSender发送消息 ClientMessageSender tokio::spawn(Client::client_task(c, reader)); msg_sender } ... } client_task 主要功能: 读取,解析消息 分发消息给相应的处理函数 process_error process_sub process_pub 这个其实就是一个tcp连接的主循环,说到这里我想把tokio::spawn 和 go语言中的 , 查找所有的订阅 将消息逐一转发给他们 转发的过程中要稍微麻烦一点,因为考虑到设计中的负载均衡问题,qsubs则是从同一个queue中随机选择一个来推送消息. rust async fn process_pub
81320发布于 2020-03-10 - 来自专栏服务端思维
消息中间件选型分析
一、前言 消息队列中间件（简称消息中间件）是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。 从某种意义上来讲，如果一个消息中间件不具备消息堆积的能力，那么就不能把它看做是一个合格的消息中间件。消息堆积分内存式堆积和磁盘式堆积。 消息中间件具备消息堆积的能力，消息堆积越大也就意味着端到端的时延也就越长，与此同时延时队列也是某些消息中间件的一大特色。那么为什么还要关注消息中间件的时延问题呢？ ---- 四、消息中间件选型误区探讨 在进行消息中间件选型之前可以先问自己一个问题：是否真的需要一个消息中间件？在搞清楚这个问题之后，还可以继续问自己一个问题：是否需要自己维护一套消息中间件？ ---- 五、总结 消息中间件大道至简：一发一存一消费，没有最好的消息中间件，只有最合适的消息中间件。人过留名，雁过留声，路过记得点个赞。
1.9K42发布于 2019-07-10 - 来自专栏JAVA乐园
消息中间件哪些事
二、什么是消息中间件 消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。 目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 实现方式:面向消息的中间件(MessageOrlented MiddlewareMOM 三、JMS介绍 1、什么是JMS JMS是java的消息服务器，JMS的客户端之间可以通过JMS服务进行异步的消息传输,是一个Java平台中面向消息中间件的API 角色划分 1.提供者：实现JMS 规范的消息中间件服务器 (存放消息容器) 2.客户端：发送或接收消息的应用程序 3.生产者/发布者：创建并发送消息的客户端（向消息容器存放消息） 4.消费者/订阅者：接收并处理消息的客户端 相关概念 1.主题（Topic） 2.发布者（Publisher） 3.订阅者（Subscriber） 4.客户端将消息发送到主题。
1.3K20发布于 2020-06-29 - 来自专栏码猿技术专栏
消息中间件之Rabbitmq
RabbitMQ【消息中间件】 1.1. 介绍 1.2. 安装 1.3. 参考文章 RabbitMQ【消息中间件】 介绍 RabbitMQ是实现AMQP（高级消息队列协议）的消息中间件的一种，最初起源于金融系统，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗 AMQP，即Advanced Message Queuing Protocol，高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。 消息中间件主要用于组件之间的解耦，消息的发送者无需知道消息使用者的存在，反之亦然。AMQP的主要特征是面向消息、队列、路由（包括点对点和发布/订阅）、可靠性、安全。 requeue：被丢弃消息是否重新进入队列，如果是true将会重新进入队列 实例如下 import java.io.IOException; import org.slf4j.Logger; import
1.1K30发布于 2019-12-31 - 来自专栏田守枝的技术博客
消息中间件选型分析
消息中间件选型分析 ——从Kafka与RabbitMQ的对比来看全局 有很多网友留言：公司要做消息中间件选型，该如何选？你觉得哪个比较好？ 一、前言 消息队列中间件（简称消息中间件）是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。 消息中间件具备消息堆积的能力，消息堆积越大也就意味着端到端的时延也就越长，与此同时延时队列也是某些消息中间件的一大特色。那么为什么还要关注消息中间件的时延问题呢？ ---- 四、消息中间件选型误区探讨 在进行消息中间件选型之前可以先问自己一个问题：是否真的需要一个消息中间件？在搞清楚这个问题之后，还可以继续问自己一个问题：是否需要自己维护一套消息中间件？ ---- 五、总结 消息中间件大道至简：一发一存一消费，没有最好的消息中间件，只有最合适的消息中间件。人过留名，雁过留声，路过记得点个赞。
1.3K10发布于 2019-05-21 - 来自专栏分布式系统进阶
消息中间件的 Style
前情提要 现如今，消息中间件已经在很多公司的业务中被广泛使用：业务解耦，消峰填谷，对接大数据，流式计算等等各种玩法层出不穷。 伴随着消息中间件的使用，你一定还听过 "消息队列"，“pub-sub”这些名词，我们今天就来聊一下这些消息中间件提供给业务的可使用的 "Style"。 概述 不管如何使用消息中间件，其实都可以归结到两个步骤：消息的产生和消费。 消息中间件作为一种消息的暂存（当前也可以持久存储）系统，解耦消息的上下游，通过自身提供的高吞吐量，稳定可靠性，分布式可扩展性等一系列特性保证消息被业务合理正确处理。 发布者push消息到消息中间件里的某个topic上，各个订阅者都会收到这个topic上的完整的消息，即每个订阅者都能看到一样的完整的topic视图，并且收到的消息的顺序和消息被push到消息中间件时的顺序是一致的
67440发布于 2020-02-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号