首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏大数据成神之路

    5000字阐述云原生消息中间件Apache Pulsar的核心特性和设计概览

    log中有效的entry只占20#以下时做compaction Major compaction 当entry log中有效的占到80%以下时就可开始做compaction 关键特性 跨地域复制( geo-replication 特别需要注意的是:集群间可以通过跨地域复制(Geo-Replication)进行消息同步。 ? Pulsar geo-replication 多个Broker节点组成一个Pulsar Cluster;多个Pulsar Cluster组成一个Pulsar Instance。 Pulsar通过geo-replication支持一个Instance内在不同的集群发送和消费消息。 下图说明了 Pulsar 在不同集群之间跨地域复制的过程: ? 没有geo-replication,C1和C2使用者将无法使用P3产生者发布的消息。

    1.3K30发布于 2021-07-30
  • 来自专栏速入大数据

    别再只把 Pulsar 当 Kafka 平替了:主题分层、持久化和跨地域复制,才是它的杀手锏

    今天我就想掰开揉碎,聊三个Pulsar真正拉开差距的能力:主题分层(TenantNamespaceTopic)持久化设计(BookKeeper+Segment)Geo-replication的真实用例不吹概念 三、Geo-replication:这不是“跨机房同步”,是系统级能力说到这块,我得先泼个冷水。90%的人,不需要Geo-replication。但剩下的10%,一旦需要,就非它不可。 3️⃣你甚至还能“反向复制”有些人以为Geo-replication只能单向。实际上你可以:主写在A灾备写在B通过策略避免循环这在容灾、数据主权场景里,非常值钱。

    18310编辑于 2026-01-16
  • 来自专栏DevOps运维

    glusterfs常用命令整理

    quota <VOLNAME> limit-usage <DIR> <VALUE> 查看配额: gluster volume quota <VOLNAME> list [<DIR>] # 13 地域复制(geo-replication ): gluster volume geo-replication <MASTER> <SLAVE> start | status | stop # 14 IO信息查看: gluster volume

    2.3K20发布于 2021-11-16
  • 来自专栏腾讯云中间件的专栏

    你不得不知道的 Apache Pulsar 三大跨地域复制解决方案

    作者介绍 冉小龙 腾讯云微服务产品中心研发工程师 Apache Pulsar Committer Apache BookKeeper Contributor 需求意义 在 Geo-Replication namespace: 当前创建的 namespace 允许在哪几个集群之间进行数据的复制 (–clusters) 原理 对于多个集群之间的数据复制,我们均可以简化到两个集群之间的数据复制,基于这个理念,Geo-ReplicationGeo-Replication 的场景下,同样可以保证消息的 exactly-once 的语义(at-least-once + broker 端的去重(producer-name + sequence 目前 pulsar Geo-Replication 存在的问题 Pulsar 只能保证单机房生产的消息顺序,在多机房的场景下没办法保证多个机房的消息全局有序 由于 cursor snapshot 是定期进行的

    2.4K40发布于 2021-03-30
  • 来自专栏进击的程序猿

    Wormhole:可靠的发布-订阅系统

    HDFS, 和 RocksDB,Wormhole直接扫描transaction logs,Wormhole直接部署在数据源的机器上,这样子还带来一个好处,Wormhole本身不需要做任何的地域复制(geo-replication )的策略,只需要依赖于数据源的geo-replication策略即可。

    89030发布于 2018-08-23
  • 来自专栏全栈程序员必看

    TiKV学习笔记

    1.2、TiKV的主要Features Geo-Replication(异地数据同步) TiKV用Raft协议和PD来支持Geo-Replication(一种异地数据同步技术,它可以几乎实时地把GlusterFS

    1.4K30编辑于 2022-11-09
  • 来自专栏MessageQueue

    Apache Pulsar简介

    Pulsar通过GEO-REPLICATION支持一个Instance内在不同的地域发送和消费消息。 单层架构,Broker服务也负责存储 存储和服务分离,Broker负责提供服务,BookKeeper提供存储能力 存储 Master-Slave结构 BookKeeper,高可用存储 多域部署 无 GEO-REPLICATION

    2.3K20发布于 2018-07-24
  • 来自专栏PingCAP的专栏

    TiCDC 首个 GA 版本发布,特性与场景全揭秘

    考虑到 Pulsar 对原生跨地域复制(GEO-Replication)的支持同知乎未来基础设施云原生化的方向更加契合,知乎开始在一些业务中使用 Pulsar 替换 Kafka 。 借助 Pulsar 所具有的 GEO-Replication 功能,可以为 TiCDC 的消费者带来地理位置无关的变更事件订阅能力。

    1.1K41发布于 2020-09-16
  • 来自专栏鸿的学习笔记

    Apache Kafka核心概念入门

    Geo-Replication 跨数据中心复制 Producers 生产数据到对应的partition,并且拥有Topic里的partition的选择权 Consumers Consumer可以组成一个

    59620发布于 2018-09-18
  • 来自专栏Tidb

    TiDB4.0生态里的TiCDC是何方神物?揭秘!

    考虑到 Pulsar 对原生跨地域复制(GEO-Replication)的支持同知乎未来基础设施云原生化的方向更加契合,知乎开始在一些业务中使用 Pulsar 替换 Kafka 。 借助 Pulsar 所具有的 GEO-Replication 功能,可以为 TiCDC 的消费者带来地理位置无关的变更事件订阅能力。

    1.3K40发布于 2021-01-26
  • 来自专栏技术论坛

    kafka 消息队列的原理

    假如配置了2天, 那两天后记录会被删除掉以节省空间 消费者保存消费的offset, 记录消费的为止, 可以向前推进读取, 也可以向后读取 用户可以用“tail“命令查看消息 日志分区分布在多台服务器上 Geo-Replication

    1.4K60发布于 2020-08-25
  • 来自专栏北京马哥教育

    GlusterFS分布式文件系统使用简介

    Geo-Replication GFID:GFS卷中的每个文件或目录都有一个唯一的128位的数据相关联,其用于模拟inode Namespace:每个Gluster卷都导出单个ns作为POSIX的挂载点 LATEST/CentOS/gluster-epel.repo -O /etc/yum.repo.d/glusterfs.repo yum install glusterfs{,-server,-fuse,-geo-replication

    2.4K60发布于 2018-05-04
  • 来自专栏大数据学习与分享

    分布式流平台Kafka

    Geo-Replication Kafka MirrorMaker为集群提供了geo-replication即异地数据同步技术的支持。

    1.1K20发布于 2020-08-10
  • 来自专栏葫芦

    teg Kafka作为一个分布式的流平台,这到底意味着什么?

    Geo-Replication(异地数据同步技术) Kafka MirrorMaker为群集提供geo-replication支持。

    83940发布于 2019-10-16
  • 来自专栏腾讯云中间件的专栏

    Apache Pulsar 技术系列 - Pulsar 总览

    图九 ACK模型 跨地域复制 Apache Pulsar 的跨地域复制机制(Geo-Replication)提供了一种全连接的异步复制,可以满足多个数据中心数据同步的使用场景。 图十 Geo-replication 如图十所示,有三个 Apache Pulsar 集群,分布于北京、上海和广州,用户创建的一个 Topic T1 设置了跨越三个数据中心做互备。

    2.4K20编辑于 2023-03-24
  • 来自专栏Java开发必知必会

    【转】kafka-告诉你什么是kafka

    Geo-Replication(异地数据同步技术) Kafka MirrorMaker为群集提供geo-replication支持。

    73230发布于 2019-06-16
  • K8s企业级深度研修:云原生、DevOps、可观测性、弹性伸缩、服务网格、异地多活

    要真正成为企业不可或缺的稀缺人才,你必须超越工具的表层,掌握 K8s 的全栈能力,尤其是其中最具挑战性和价值的两大支柱:可观测性(Observability)与异地多活(Multi-Active Geo-Replication

    30510编辑于 2025-11-27
  • 来自专栏大魏分享(微信公众号:david-share)

    浅谈业内各种主流双活存储技术,以及开源的HA/DR方案

    卷的异步复制配置起来并不复杂: # gluster volume geo-replication volume1example.com::slave-vol create push-pem 其中volume1 在gluster中,我们无法直接调整一个参数来修改数据更新时间间隔,geo-replicate默认是以最快的速度进行同步,但如果网络距离较长的话,数据传输要经过互联网,那么同步时间可能会比较长,期间Geo-replication

    5.6K60发布于 2018-03-22
  • 来自专栏全栈程序员必看

    计算机专业术语对照

    FPP,零售版(Full Packaged Product) free,免费 full-duplex,全双工 Full Packaged Product,零售版(FPP) ## G ## Geo-Replication

    1.8K20编辑于 2022-09-07
  • 来自专栏其他相关技术

    Redis:现代服务端开发的缓存基石与电商实践-优雅草卓伊凡

    Redis兼容服务:AWS ElastiCache:支持Redis和Memcached自动故障检测和恢复阿里云Redis:增强版支持读写分离提供全球多活能力Azure Cache:与Azure AD集成支持Geo-Replication

    21400编辑于 2025-05-05
领券