没有强大过滤功能的 XDCR 会导致违反合规性,因此在复制过程中应用过滤器对于实现合规性至关重要。 使用 XDCR 和过滤器实现数据本地化合规性 XDCR 与强大的过滤和数据转换方法相结合,可以促进合规性。让我们深入了解如何配置 XDCR 以保持与数据驻留要求的合规性。 XDCR 通常允许在数据库、命名空间或表级别进行数据复制,并且将过滤器纳入其中对于确保数据驻留合规性至关重要。XDCR 过滤器确保只有非敏感数据或允许的数据在区域之间复制,而受保护的数据则存储在本地。 相反,这些标签被表达为过滤器,然后 XDCR 实时应用这些过滤器,以确保只有适当的数据类型被复制到某些区域。 使用 XDCR 过滤器的元数据标记是一种强大的组合,使组织能够在保持数据主权控制的同时,仍然允许非敏感数据的移动。
Automatic failover Online rebalancing Index replicas and swap rebalance Cross Datacenter Replication (XDCR ) XDCR filtering and throttling XDCR timestamp-based conflict resolution Rack/availability zone storage engine for indexes Fast failover Ephemeral buckets Ephemeral buckets with Query, Search, XDCR pushdown Index partitioning N1QL aggregate pushdown End-to-end compression (client to server and XDCR
1.6.2、XDCR (Cross Data Center Replication) XDCR提供了多个有效vbucket的数据的复制,主要用于跨数据中心的多集群间的复制,可以跨版本复制。 2.2.2、跨数据中心复制(多集群间复制)--XDCR 跨数据中心复制主要是针对多个集群间的数据复制,此种复制主要以异步的方式通过XDCR协议同步数据到其它集群中备份,从而实现单集群或机房出现问题级的容灾 跨数据中心复制是以bucket为单位进行复制的,在管理员操作界面可以通过配置XDCR来进行此种复制方式,下图为跨数据中心复制示例图: ? 3.4、XDCR跨集群复制 XDCR提供了多个有效vbucket的数据的复制,主要用于跨数据中心的多集群间的复制,可以跨版本复制。 我们这里配置从版本4.1到版本6.6的XDCR复制。 到此,XDCR配置完成。 接下来,在41版本上,插入一条数据,查询66版本上是否同步: ? ? 可以看到,6.6版本上也同步过去了。
1.6.2、XDCR (Cross Data Center Replication) XDCR提供了多个有效vbucket的数据的复制,主要用于跨数据中心的多集群间的复制,可以跨版本复制。 主要概念有以下几点: 基于bucket复制,两个集群的同一个bucket可以实现单向或者双向复制; 通过DCP协议保持持续性复制,一个XDCR连接中包括多个DCP数据流。 2.2.2、跨数据中心复制(多集群间复制)--XDCR 跨数据中心复制主要是针对多个集群间的数据复制,此种复制主要以异步的方式通过XDCR协议同步数据到其它集群中备份,从而实现单集群或机房出现问题级的容灾 [](https://gitee.com/lhrbest/pic/raw/master/img/20210322120441.png) 3.4、XDCR跨集群复制 XDCR提供了多个有效vbucket的数据的复制 我们这里配置从版本4.1到版本6.6的XDCR复制。 注意: 若要配置4.1到6.6版本的复制,那么必须在4.1版本上做配置。数据才能从4.1版本流向6.6版本。
跨数据中心复制是以bucket为单位进行复制的,在管理员操作界面可以通过配置XDCR来进行此种复制方式,下图为跨数据中心复制示例图: ? XDCR (Cross Data Center Replication) XDCR提供了多个有效vbucket的数据的复制,主要用于跨数据中心的多集群间的复制。 主要概念有一下几点: 基于bucket复制,两个集群的同一个bucket可以实现单向或者双向复制; 通过DCP协议保持持续性复制,一个XDCR连接中包括多个DCP数据流。 多Couchbase服务器机群单向XDCR复制 节点或机群故障 (例如: 数据中心自然灾害) AP是通过XDCR机群间单向复制来防止节点故障或者 单向复制可以用于同步数据在秒级计算能力数据中心中, 目的集群数据就可以通过最终一致性的数据用来读取和当原集群故障时 ,升级为读写集群(主从模式业务,读写分离) | | 多Couchbase服务器机群双向XDCR复制 | 节点或机群故障(例如: 数据中心自然灾害) | AP是通过XDCR机群间双向向复制来防止节点故障或者
弹性扩展与高可用:原生分布式设计支持在线秒级扩缩容,通过主动 - 主动 XDCR 技术实现跨数据中心复制,保障业务 24/7 高可用。 成熟的异地容灾方案:“我们通过 XDCR 技术将数据实时同步到异地,构建了可靠的热备方案,为业务提供了跨地域的灾难恢复能力。” 实战检验:Couchbase Magma vs. 程利老师表示: 深化 XDCR 应用:“我们希望用上更完善的多源同步(多个集群互相同步) 功能,实现业务就近读写。”
混合精度推理缓存 金融风控模型训练 订阅制+GPU资源池化 Couchbase Magma引擎持久化缓存 XDCR
其中许多功能,如连续复制、自动故障切换、快速重新平衡、跨群集的跨数据中心复制(XDCR)和自动分片,默认情况下在后台实现,或者在不关闭系统的情况下可管理。
其中许多功能,如连续复制、自动故障切换、快速重新平衡、跨群集的跨数据中心复制(XDCR)和自动分片,默认情况下在后台实现,或者在不关闭系统的情况下可管理。
优酷大数据质量平台及线上质量闭环解决方案 孙立伟:广告核心架构及其演进 本次分享将从最新成长起来的效果类广告引擎架构谈起,就广告架构的发展演变,以及广告架构与业务的关系分享一些个人的看法;本次预备分享的内容包括(但不限于):自研支持双向 XDCR
桶、作用域以及集合在基于角色的访问控制、跨数据中心复制(XDCR),以及备份和恢复等所有层面上,提供了独立的部署和生命周期管理。
爱奇艺从最初的 1.8 版本使用到如今的 5.0 版本,正在调研的 6.0,中间也遇到了很多坑,例如 NTP 时间配置出错会导致崩溃,如果每个集群对外 XDCR 并发过高导致不稳定,同步方向变更会导致数据丢失等等 Couchbase 的集群是独立集群,集群间的数据同步通过 XDCR,我们一般配置为双向同步。
中间也遇到了很多问题,例如 NTP 时间配置出错会导致崩溃,如果每个集群对外 XDCR 并发过高导致不稳定,同步方向变更会导致数据丢失等,会通过运维和一些外部工具来进行规避。 Couchbase 的集群是独立集群,集群间的数据同步通过 XDCR,我们一般配置为双向同步。
M5HxvaWuY7k5p1BQcquo6eqtHW4fkDh+Npm5S088h6p92VeRxXo9PhcU1Qx7aii3NqI7gN7HtOrD37+BK+m+U0dTE2Mvs9ptu4LHUUk1PG50MgzOBbn33ad7XDcR2HRQfJXMPk3a1U34Fe5rsBpq5zhRsbSVMh
更有趣的是,Cassandra 在处理数据时拥有线性可扩展能力(即可通过向集群当中添加节点的方式实现负载增容)并能够提供跨数据中心复制(简称 XDCR)能力。