首页
学习
活动
专区
圈层
工具
发布

一文带你看懂 Pulsar 的消息保留和过期策略

导读 Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制...作者介绍 冉小龙 腾讯云微服务产品中心研发工程师 Apache Pulsar Committer Apache BookKeeper Contributor 默认情况下,Pulsar Broker...但是,很多线上的生产环境下,这种默认行为并不能满足我们的生产需求,所以,Pulsar 提供了如下配置策略来覆盖这些行为: Retention 策略:用户可以将 Consumer 已经确认的消息保留下来。...换句话说,backlog 是针对未确认的消息,Broker 所做的处理是什么。Retention 是针对已确认的消息,Broker 所做的保留策略是什么。...戳原文,了解更多消息队列TDMQ的信息 点亮在看,你最好看

2.8K11

Apache pulsar 技术系列-- 消息重推的几种方式

在很多场景下,用户需要通过 MQ 实现消息的重新推送能力,比如超时重推、处理异常时重推等,本文介绍 Apache Pulsar 提供的几种消息重推方案。...-- NegativeAck 通过 AckTimeout 实现的重推,是 SDK 内部统一实现的,用户不能控制重推的行为,如果用户希望根据自己的使用场景,决定哪些消息需要重推,Pulsar 提供了 NegativeAck...总的来说,Apache Pulsar 提供了多种消息重推的方式,用户可以结合自己的场景,灵活使用,满足自己的业务需求。...往期 推荐 《Apache Pulsar 技术系列 - GEO replication 中订阅状态的同步原理》 《CKafka 跨洋数据同步性能优化》 《微服务优雅上下线的实践方法》 《腾讯云消息队列产品...戳原文,查看更多消息队列 Pulsar 版 的信息! 点个在看你最好看

1.7K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    深入解析Apache Pulsar系列(一):客户端消息确认

    导语 在 Apache Pulsar 中,为了避免消息的重复投递,消费者进行消息确认是非常重要的一步。...作者简介 林琳 腾讯云中间件专家工程师 Apache Pulsar PMC,《深入解析Apache Pulsar》作者。目前专注于中间件领域,在消息队列和微服务方向具有丰富的经验。...UnAckedMessageTracker中维护了一个时间轮,时间轮的刻度根据AckTimeout、TickDurationInMs这两个参数生成,每个刻度时间=AckTimeout / TickDurationInMs...下图是一个时间轮的简单示例: 另外一种情况就是消费者做了预拉取,但是还没调用过任何Receive方法,此时消息会一直堆积在本地队列。...如果各位希望系统性地学习Pulsar,可以购买作者出版的新书《深入解析Apache Pulsar》。

    2.2K60

    Kafka消费者 之 指定位移消费

    二、seek()方法 到目前为止,我们知道消息的拉取是根据 poll() 方法中的逻辑来处理的,这个 poll() 方法中的逻辑对于普通的开发人员而言是一个黑盒,无法精确地掌控其消费的具体位置。...(tp, offset); } 五、根据时间戳消费 有时候我并不知道特定的消费位置,却知道一个相关的时间点。...为待查询的时间戳,该方法会返回时间戳大于等于查询时间的第一条消息对应的 offset 和 timestamp 。...OffsetAndTimestamp offsetAndTimestamp = offsets.get(tp); // 如果offsetAndTimestamp不为null,则证明当前分区有符合时间戳条件的消息...最后又介绍了如何根据时间戳来消费指定消息,更加务实一些。 即使消息已被提交,但我们依然可以使用 seek() 方法来消费符合一些条件的消息,这样为消息的消费提供了很大的灵活性。

    18.1K61

    一文带你全方面了解Apache Pulsar 延迟消息投递

    导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。...其中 deliverAt 可以指定具体的时间戳;deliverAfter 可以指定在当前多长时间后执行。两种方式的本质是一样的,Client 会计算出时间戳送到 Broker。...下图展示了 Pulsar 中延迟消息的具体过程: producer 发送的 m1/m3/m4/m5 有不同的延迟时间,m2 是不需要延迟投递的正常消息,consumer 消费时会根据不同的延迟时间进行...五、Pulsar延迟消息投递面临的挑战 从 Pulsar 的延迟消息投递实现原理可以看出,该方法简单高效,对 Pulsar 内核侵入性较小,可以支持到任意时间的延迟消息。...结语 本文为大家介绍了延迟消息投递的相关概念和使用场景,并详细拓展了 Apache Pulsar 的实现原理。

    1.9K20

    关于MQ,你了解多少?(干货分享之二)

    .timeindex时间索引文件:当前日志分段文件中建立索引的消息的时间戳,是在 0.10.0 版本后增加的,用于根据时间戳快速查找特定消息的位移值,优化 Kafka 读取历史消息缓慢的问题。...为了保证时间戳的单调递增,可以将log.message.timestamp.type 设置成 logApendTime,而 CreateTime 不能保证是消息写入时间。  ...更多信息可查看 Pulsar 官网 [Apache Pulsar](https://pulsar.apache.org/) 对比 此图摘抄自《面渣逆袭:RocketMQ二十三问》 这个图没有 Pulsar...进阶 常言道,最好的学习方法是带着问题去寻找答案,在路上捡拾更多果实,增加经验值,快速升级。...戳原文,查看更多 消息队列 RocketMQ 的 信息! 点个在看你最好看

    1.2K40

    Apache Pulsar 延迟消息投递解析

    导语 | Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。...其中 deliverAt 可以指定具体的时间戳;deliverAfter 可以指定在当前多长时间后执行。两种方式的本质是一样的,Client 会计算出时间戳送到 Broker。...下图展示了 Pulsar 中延迟消息的具体过程: producer 发送的 m1/m3/m4/m5 有不同的延迟时间,m2 是不需要延迟投递的正常消息,consumer 消费时会根据不同的延迟时间进行...五、Pulsar延迟消息投递面临的挑战 从 Pulsar 的延迟消息投递实现原理可以看出,该方法简单高效,对 Pulsar 内核侵入性较小,可以支持到任意时间的延迟消息。...结语 本文为大家介绍了延迟消息投递的相关概念和使用场景,并详细拓展了 Apache Pulsar 的实现原理。

    3.9K41

    详解 Apache Pulsar 消息生命周期

    在 T3 时间段,m6 - m8 已被 Broker Ack。这就是 TTL 策略操作行为与作用范围。...TTL 策略就是根据设置的时间,定期检查,不断更新 Cursor 的位置(等价于 Consumer 侧暴露的 Ack 接口),将消息过期掉;Retention 策略是检查 Ledger 的创建时间以及.../16569) 往期 推荐 《腾讯云基于 Apache Pulsar 跨地域复制功能实现租户跨集群迁移》 《云原生消息流系统 Apache Pulsar 在腾讯云的大规模生产实践》 《Apache...Pulsar 技术系列 – 基于不同部署策略和配置策略的容灾保障》 《Apache Pulsar 在微信大流量实时推荐场景下的实践》 《百万级 Topic,Apache Pulsar 在腾讯云的稳定性优化实践...戳原文,查看更多消息队列 Pulsar 版的 信息! 点个在看你最好看

    1.3K20

    消息中间件基础知识-从RabbitMQ、RocketMQ、Kafka到Pulsar

    发布订阅系统产生的行为不需要通过接口等方式来通知到相关服务,只需要发布一次消息,订阅者都能消费到消息,执行服务自身的本职工作。...且随着发展在修改协议,比如Timestamp是为了增加时间索引,在 0.10.0 版本后增加的,用于根据时间戳快速查找特定消息的位移值,优化 Kafka 读取历史消息缓慢的问题。....timeindex时间索引文件: 当前日志分段文件中建立索引的消息的时间戳,是在 0.10.0 版本后增加的,用于根据时间戳快速查找特定消息的位移值,优化 Kafka 读取历史消息缓慢的问题。...为了保证时间戳的单调递增,可以将log.message.timestamp.type设置成logApendTime,而CreateTime不能保证是消息写入时间。...比较详实的Pulsar和Kafka的比对可以查阅StreamNative的文章Pulsar和Kafka基准测试:Pulsar性能精准解析(完整版),StreamNative 作为 Apache Pulsar

    2K30

    我用消息队列做了一款联机小游戏

    另外我们还需要一款消息队列作为后端,我选择 Apache Pulsar,官网如下: https://pulsar.apache.org/ 我在前文 Apache Pulsar 的架构设计 介绍了 Pulsar...当然这里有一个潜在的 bug:对于一个分布式消息系统来说,考虑到网络延迟、系统时钟的差异,时间戳的语义是不明确的,我们其实不应该依赖消息的时间戳。...上述代码演示了使用 Pulsar 实现多人游戏的核心逻辑,下面再介绍一些关键的代码实现 关键代码实现 根据前文的内容,每个游戏客户端需要持有一个 producer,用来把玩家的操作事件发送到操作事件对应的...你可以在 Apache Pulsar 的官网查看文档自己搭建服务器部署一套: https://pulsar.apache.org/ 也可以在 StreamNative Cloud 平台上建立一个免费 Pulsar...详细的代码实现可以看我的代码仓库,本文就到这里,主要带大家实操一下 Apache Pulsar 的使用,后续我还会分享更多消息系统相关的技术,敬请期待。

    1.8K30

    Pulsar 在腾讯云的稳定性实践

    Pulsar 诞生的背景和原因 看了以上那么多消息产品的对比,大家肯定会有一个疑问,既然已经有这么多的消息产品了,为什么还要用 Pulsar?Pulsar 它存在的意义是什么呢?...解决方案 支持空洞消息的主动推送,Pulsar 在服务端能感知到空洞消息,因为 Pulsar 有一个记录,是已经被确认的消息的集合,这样在服务端去判断空洞消息的时候就是看它在服务端是否超过了用户配置的时间...Pulsar在腾讯内部的案例实践-王者营地 王者营地 App 对用户的登入登出状态,组队状态,房间状态,局内高光数据,击杀数据等用户的消费状态,生产到 Pulsar 集群,这些行为的消费方会在 Pulsar...通过不同的Topic 后缀来区分不同环境。 由于业务上过期数据可以不消费,因此设置了2小时的ttl过期时间。 客户端使用 Golang pulsar sdk。...戳原文,查看更多消息队列 Pulsar 版的 信息! 点个在看你最好看

    2.7K60

    消息队列产品12月产品动态

    【新功能】专享集群公网带宽后支持安全组,开通公网带宽计费后,支持根据实际需要设置公网的IP白名单。...★ 2023年 1月预告 消息队列 RocketMQ 版 【新功能】消息查询页面新增“查询近100条消息”选项,查询结果确保严格的时间先后顺序,以解决查询结果分页之间没有严格按照时间顺序的问题。...往期 推荐 《Pulsar 在腾讯云的稳定性实践》 《迎接2023 | 北极星开源一周年,感恩礼倾情相送》 《轻量级SaaS化应用数据链路构建方案的技术探索及落地实践》 《Apache Pulsar...》 《Apache Pulsar 在微信大流量实时推荐场景下的实践》 《好未来基于北极星的注册中心最佳实践》 《百万级 Topic,Apache Pulsar 在腾讯云的稳定性优化实践》 《预告|...戳原文,查看更多消息队列 RocketMQ 版的 信息! 点个在看你最好看

    1.8K40

    Apache Pulsar 在微信大流量实时推荐场景下的实践

    导语 本文整理自 8 月 Apache Pulsar Meetup 上,刘燊题为《Apache Pulsar 在微信的大流量实时推荐场景实践》的分享。...跟踪代码发现,Load Bundle 处理类是根据 Broker 的消息量判断该承载多余流量的 Broker,但生产中消息量与机器负载并不完全正相关,且 Threshold shedder 是根据 CPU...这样消费速度相对较慢的数据就不会穿越到 Bookie 中增加集群压力,只要数据有 Backlog 就会被缓存。但这种方法会导致缓存空间吃紧,因为消费任务重启期间仍旧要无意义地保留缓存,占用缓存空间。...团队使用 Pulsar Offloader 的原因有: Bookie Journal/Ledger 盘都使用 SSD,成本较高; 业务需求存储时间长、数据存储量大; 数据消费任务异常,需要容忍较长时间的数据...戳原文,查看更多 消息队列 Pulsar 版  的信息! 点个在看你最好看

    1.4K20

    Pulsar 技术系列 - 深度解读Pulsar Schema

    导读 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。...INT64 64 位有符号整数 FLOATE 单精度浮点数 DOUBLE 双精度浮点数 BYTES 字节序列 STRING Unicode 字符集序列 TIMESTAMP(DATE, TIME) 时间戳...扫码点击“立即申请”,即可免费体验 往期 推荐 《【阵容扩大】三位腾讯Maintainer加入Apache Pulsar生态项目RocketMQ-on-Palsar》 《Apache Pulsar事务机制原理解析...|Apache Pulsar 技术系列》 《腾讯云中间件月报(2021年第六期)》 扫描下方二维码关注本公众号, 了解更多微服务、消息队列的相关信息!...戳原文,了解更多腾讯微服务平台相关信息

    3.9K40

    Kafka 新版消费者 API(三):以时间戳查询消息和消费速度控制

    以时间戳查询消息 (1) Kafka 新版消费者基于时间戳索引消费消息 kafka 在 0.10.1.1 版本增加了时间索引文件,因此我们可以根据时间戳来访问消息。...: " + df.format(now)); long fetchDataTime = nowTime - 1000 * 60 * 30; // 计算30分钟之前的时间戳...说明:基于时间戳查询消息,consumer 订阅 topic 的方式必须是 Assign (2) Spark基于kafka时间戳索引读取数据并加载到RDD中 以下为一个通用的,spark读取kafka...中某段时间之前到执行程序此刻的时间范围内的数据并加载到RDD中的方法: package com.bonc.utils import org.apache.kafka.clients.consumer.KafkaConsumer...消费速度控制 在有些场景可以需要暂停某些分区消费,达到一定条件再恢复对这些分区的消费,可以使用pause()方法暂停消费,resume()方法恢复消费,示例代码如下: package com.bonc.rdpe.kafka110

    8.2K20

    腾讯技术直播间 | Apache IoTDB x Apache Pulsar Meetup

    从成为 Apache 顶级项目后,在这一年的时间中,Pulsar 发展势头非常迅速,目前在全球拥有 100+ 的企业级用户,像雅虎、苹果、迪斯尼、Hulu、腾讯、中国移动、中国电信、智联招聘、涂鸦智能、...Apache Pulsar -- 从消息系统到流原生平台 ?摘要: 本次分享主要介绍 Apache Pulsar 的特性,从技术和社区多个角度讲解: 1. Apache Pulsar 是什么 2....摘要: 随着时间序列数据逐渐成为重要的数据类型之一,时序数据库日益受到关注。Apache IoTDB 是目前唯一一个从我国高校走进 Apache 的项目,其读写性能远超当前市面上的常见时序数据库。...本次分享将围绕腾讯的海量数据接入实践,来探讨 MQ 设计的原则与方法论,并结合最新的 Apache Pulsar 的落地实践,介绍新技术落地所克服的技术挑战并分享相应的经验。...本报告围绕 Apache IoTDB,结合 Apache PLC4X、Apache Pulsar、Apache Spark 等介绍时间序列的采集、缓存、存储、处理、分析、可视化的全生命周期的开源解决方案

    93010

    【邀请函】Apache IoTDB x Apache Pulsar Meetup

    从成为 Apache 顶级项目后,在这一年的时间中,Pulsar 发展势头非常迅速,目前在全球拥有 100+ 的企业级用户,像雅虎、苹果、迪斯尼、Hulu、腾讯、中国移动、中国电信、智联招聘、涂鸦智能、...Apache Pulsar -- 从消息系统到流原生平台 ?摘要: 本次分享主要介绍 Apache Pulsar 的特性,从技术和社区多个角度讲解: 1. Apache Pulsar 是什么 2....摘要: 随着时间序列数据逐渐成为重要的数据类型之一,时序数据库日益受到关注。Apache IoTDB 是目前唯一一个从我国高校走进 Apache 的项目,其读写性能远超当前市面上的常见时序数据库。...本次分享将围绕腾讯的海量数据接入实践,来探讨 MQ 设计的原则与方法论,并结合最新的 Apache Pulsar 的落地实践,介绍新技术落地所克服的技术挑战并分享相应的经验。...本报告围绕 Apache IoTDB,结合 Apache PLC4X、Apache Pulsar、Apache Spark 等介绍时间序列的采集、缓存、存储、处理、分析、可视化的全生命周期的开源解决方案

    94510
    领券