最终一致性VS顺序一致性VS线性一致性(了解)在分布式系统设计中,一致性模型是一个核心概念。它定义了多个节点之间数据同步的规则。本文简单学习一下最终一致性、顺序一致性、线性一致性模型。 最终一致性最终一致性是最弱的一致性模型,它只保证数据在多个节点上在最终的情况下是一样的,但是在这之间,各个节点上这些数据到来的顺序,到来的时间都是不确定的。 业务场景:实时性一致性要求不高的业务可以使用到最终一致性。分布式的缓存和数据库之间的数据一致性。用户动态博客、点赞数量、好友关注等。库存计数。 日志数据等顺序一致性顺序一致性比最终一致性的保证略强一点,它要求所有客户端看到的服务的顺序是一致的,这个顺序可能不以时间为顺序,但是所有人看到的顺序都是一样的。 线性一致性线性一致性比顺序一致性还要强,除了所有客户端看到的多个服务器节点的数据顺序是一致的,而且保证,只要数据更新了,那么客户端就能立马读取到最新值。不会读取到旧值。
翻译内容: NoSQL Distilled 第五章 Consistency 作者简介: 本节摘要: 一致性向来是分布式的一大问题。 本文主要讨论一致性中的更新一致性的内容。 Chapter 5. 从关系数据库过渡到NoSQL数据库的一个最大改变就是你对一致性的思考方式。关系数据库主要是通过“强一致性”来避免各种不一致的问题,这个我们很快就会说到。 一旦你进入NoSQL的世界,你就会接触到“CAP 定理”和“最终一致性”这些术语,一旦你开始构建,你就要考虑你的系统需要哪种一致性,什么样级别的一致性。 一致性有很多种表现形式,并且它下面也潜藏着众多可能出错的地方。本章先说说一致性的各种形式,然后再讨论哪些理由可以让开发者放宽对一致性的约束(并放宽另一个与之相伴的因素:持久性)。 5.1.
说到ZooKeeper到底是强一致性,还是最终一致性,相信大家一定能搜到大量互相打架的文章。 在评判这个问题前,咱们在回顾下Consistency(一致性)、Consensus(共识)。这两者间的关系如下: 共识是一种数据同步过程,一致性是数据同步状态。所以一致性包含了共识。 在论文中我们可以清晰的看到 CAP关于一致性的完整称呼叫"Atomic Consistency",即原子一致性:原子一致性是针对单个请求/响应操作序列的属性,而数据库一致性是事务的组成,包含了数据库概念中一致性和原子性 在CAP论文中对一致性缺少了对隔离性的说明,而隔离性是并发控制的体现,所以我们还得挖挖原子一致性,原子一致性又称为线性一致性(linearizability)、立即一致性(immediate consistency 综上所述,我们可以知道强一致性具有一定的模糊性和习惯性,因此我们可以认为强一致性是一种统称,那么我们怎么判断强一致性和最终一致性呢?这需要我们通过场景来实际分析。
- 什么是强一致性 - 说到zab到底是强一致性,还是最终一致性,相信大家一定能搜到大量互相打架的文章。 在评判这个问题前,咱们在回顾下Consistency(一致性)、Consensus(共识)。这两者间的关系如下: 共识是一种数据同步过程,一致性是数据同步状态。所以一致性包含了共识。 在论文中我们可以清晰的看到 CAP关于一致性的完整称呼叫"Atomic Consistency",即原子一致性:原子一致性是针对单个请求/响应操作序列的属性,而数据库一致性是事务的组成,包含了数据库概念中一致性和原子性 在CAP论文中对一致性缺少了对隔离性的说明,而隔离性是并发控制的体现,所以我们还得挖挖原子一致性,原子一致性又称为线性一致性(linearizability)、立即一致性(immediate consistency 综上所述,我们可以知道强一致性具有一定的模糊性和习惯性,因此我们可以认为强一致性是一种统称,那么我们怎么判断强一致性和最终一致性呢?这需要我们通过场景来实际分析。
这里解释下相关的含义: Unavailable:当出现网络隔离等问题的时候,为了保证数据的一致性,不提供服务。熟悉 CAP 理论的同学应该清楚,这就是典型的 CP 系统了。 但在 Dirty Write 情况下面,可能会出现如下情况: [1240] 可以看到,最终的值是 x = 2 而 y = 1,已经破坏了数据的一致性了。 小结 在分布式系统里面,一致性是非常重要的一个概念,理解了它,在自己设计分布式系统的时候,就能充分的考虑到底系统应该提供怎样的一致性模型。 譬如对于 TP 数据库来说,就需要有一个比较 strong 的一致性模型,而对于一些不重要的系统,譬如 cache 这些,就可以使用一些比较 weak 的模型。 延展阅读 线性一致性和 Raft TiKV 是如何存取数据的 [1240]
一致性Hash则利用Hash环对其进行了改进。 在Memcached、Key-Value Store 、Bittorrent DHT、LVS中都采用了一致性Hash,可以说一致性Hash是分布式系统负载均衡的首选算法。 2.5一致性Hash的虚拟节点 如果一致性哈希算法在服务节点太少时,容易因为节点分部不均匀而造成数据倾斜问题。例如系统中只有两台服务器,其环分布如下: ? 一致性Hash具有很低的分散性。 3.小结 一致性Hash算法主要用于解决分布式系统中请求到节点的映射。 ---- 参考文献 [1]Hash.百度百科 [2]深入浅出一致性Hash原理.简书 [3]一致性hash算法释义.博客园 [4]分布式算法(一致性Hash算法)
介绍 一致性Hash算法是实现负载均衡的一种策略,后续会写如何实现负载均衡 一致哈希是一种特殊的哈希算法。 缺点 但存在以下问题:负载不均衡,尤其是单台发生故障后剩下一台会压力过大;不能动态增删节点;节点发生故障时需要 client 重新登录 因而出现了一致性hash,一致性 hash 算法适用于动态变化的 一致性Hash算法 一致性哈希算法有多种具体的实现,包括 Chord 算法,KAD 算法等实现,以上的算法的实现都比较复杂。 一致性哈希算法的基本实现原理是将机器节点和key值都按照一样的hash算法映射到一个0~2^32的圆环上。 缺点 一致性Hash算法的缺点在于节点的插入可能并不是均匀的,节点在hash后在环上并不一定分布均匀,导致了每个节点实际占据换上的区间大小不一定相近,因此节点分布不够均匀 改进 基于虚拟节点的一致性哈希
算法 一致性哈希算法的思路为:先构造出一个长度为2^32 整数环,根据N0-3的节点名称的hash值(分布为[0,2^32 -1])放到这个环上 ? 一般的,在一致性Hash算法中,如果增加一台服务器,则受影响的数据仅仅是新服务器到其环空间中前一台服务器(即沿着逆时针方向行走遇到的第一台服务器)之间数据,其它数据也不会受到影响 综上所述,一致性Hash 数据倾斜 一致性Hash算法在服务节点太少时,容易因为节点分部不均匀而造成数据倾斜(被缓存的对象大部分集中缓存在某一台服务器上)问题,例如系统中只有两台服务器,其环分布如下: ? 因为,int的最大值最小值范围设定是因为一个int占4个字节,一个字节占8位,二进制中刚好是32位 根据算法特性,一致性hash是最好的选择吗? 下一篇介绍另一种实现google maglev hashing算法 参考资料 《大型网站技术架构》 对一致性Hash算法,Java代码实现的深入研究 为什么hash环是32位
系统程序处理时,缓存作为DB的一道屏障,可以防止大量请求达到数据库,造成压力过大,还可以提高查询效率。
这里说的「基于版本号的一致性」,确实和「删缓存」那一套不一样,流程应该是「写 DB + 有条件 写缓存」,核心就是:缓存里也带一个 version任何请求在写缓存前,都拿自己这次操作对应的 version 去和缓存里的版本比只有 新版本 \> 旧版本 时才允许覆盖缓存这样就能避免:旧请求晚到,把新值覆盖成旧值,从而解决一致性问题。 写操作基于版本号的一致性流程更新某条数据(DB+Redis)时,可以按此流程:从 DB 读当前记录,得到 oldVersion 和 oldValue计算新值 newValue,准备把版本改成 newVersion version \< newVersion,才覆盖如果缓存中 version \>= newVersion,说明你已经落后,不允许写,避免新值被旧值覆盖这个第 4 步就是「基于版本号保证 DB+缓存一致性
一致性hash算法 在分布式系统中,如果数据是存储在很多个节点中,由于节点的状态是不稳定的,可能新增节点也可能随时有节点下线。可以参考P2P下载网络,节点的个数和在线时间都是不稳定的。 如何在这样的不稳定的环境中保证数据的正确命中,不会因为节点个数的增减而导致大部分数据的失效,这就是一致性Hash算法需要解决的问题。 一致性hash算法的原理 一致性Hash算法是在1997年由麻省理工学院提出的一种分布式hash实现算法。 容错性 下面我们考虑下节点挂掉的情况,如下图所示,当node4节点挂掉之后,按照一致性hash算法的原则,A,B,C存储节点不做任何变化,只有D节点会重新存储到node1 上。如下图所示: ? 由此可见,一致性hash算法在系统节点变化的时候,只需要重定向一小部分数据的存储位置,具有较强的容错性和可扩展性。
因为双写(同时写数据库和ES),才导致了这个问题,那就去掉双写,只写数据库,然后通过异步或者MQ的方式,再去写ES,这样能解决一致性的问题,但是时效性会差点。 2. 解偶,在方法中只处理双写操作,其他的业务逻辑做异步处理(例如这个场景中,事件更新可以异步处理,并做对应的补偿机制),这样就不会影响主数据的一致性。 对于事务的一致性测试,在平时很容易被忽略,大家都还是相信开发会使用事务的。但是对于事务管理是否会失效,没有引起足够的重视。 对于测试人员而言,常见的事务一致性测试场景有哪些呢? a. 双写或者多写的情况:随着现在中间件使用得越来越多,双写或者多写的情况也会增加,当数据记录在多个地方时,需要关注一致性问题 b. 异步处理,常见的是MQ,如果消费失败,是否有对应的补偿机制来保障一致性 c. 跨系统的数据存储,有些业务数据存在关联性,又分布在不同的系统中,如何保障一致性,也是测试人员需要关注的。
Paxos问题指分布式系统中存在故障fault,但不存在恶意corrupt节点场景(消息可能丢失但不会造假)下的共识达成(Consensus)问题。
一、什么是一致性问题 为了提升服务的性能,我们一般会把热点放进缓存,那么这些热点数据就同时存在于数据库和缓存中,缓存中的数据和数据库中的数据要保持一致,这便是缓存一致性问题。 之前还是之后呢 答案是之前,如果是之后,可能会出现如下问题: 先写DB的问题 如果先更新 DB,在更新了 DB 之后,还没来得及删除缓存之前,线程 B 读请求进来了,那么读取到的是缓存中的旧数据,也会出现一致性问题 三、缓存一致性问题的解决方案 1. 双删延迟策略 上面说了先删除缓存还是会存在问题,就是线程 A 更新 DB 之前如果线程 B 把数据读到缓存中了,数据也会不一致。 主从可能会出现的情况就是主库的数据还没来得及同步到从库的时候,消费者已经把缓存给删除了,然后读请求进来,读取到了从库的脏数据,更新到了缓存中,还是有一致性问题。
一致性的度量方法取决于具体的上下文和应用场景。以下是几种常见的一致性度量方法: Kappa一致性检验:在统计和数据分析中,Kappa系数被用于衡量两个或多个评分者对同一组对象的评分之间的一致性。 Kappa系数的取值范围在0到1之间,值越大表示一致性越高。Kappa一致性检验可以细分为简单Kappa、加权Kappa、Fleiss Kappa系数等。 ICC(组内相关系数):ICC用于评估不同评分者或测量方法之间的一致性。它考虑了评分者之间的变异和测量误差,并给出了一个介于0到1之间的值,值越大表示一致性越高。 因此,可以通过计算两个集合之间的重合度(如Jaccard相似度)来度量它们之间的一致性。 在实际应用中,选择哪种一致性度量方法取决于具体的需求和场景。 例如,在评估不同评分者之间的一致性时,可能会选择Kappa一致性检验或ICC;而在处理时间序列数据时,可能会选择DTW。同时,也可以结合多种度量方法来全面评估一致性。
这篇文章,我们来看看缓存一致性问题。 缓存一致性 我接下来会巴巴说一堆缓存一致性,但是—— 作为一名暴躁老哥,我先把结论撂这了! 缓存和数据库的强一致性无法实现! CAP理论了解一下,缓存适用的场景属于CAP中的AP,是非强一致性的场景。 那还扯个犊子的缓存一致性?洗洗睡吧。 BASE理论接着了解一下,强一致性保证不了,那只好委屈求全,尽量保证最终一致性呗。 最终一致性强调的是系统中所有的数据副本,在经过一段时间的同步后,最终能够达到一个一致的状态。因此,最终一致性的本质是需要系统保证最终数据能够达到一致,而不需要实时保证系统数据的强一致性。 所以,我们追求的是尽可能保证缓存和数据库的最终一致性。 缓存与数据库一致性问题深度剖析 [2]. 数据库和缓存一致性的几种实现方式,我们来聊聊? [3]. 面试官:缓存一致性问题怎么解决? [4]. 美团二面:Redis与MySQL双写一致性如何保证?
一致性哈希 一致性哈希把哈希值想象成一个环,比如说在 0 ~ 2^32-1 这个范围内,然后将节点(名字、IP等)求哈希之后分布到环上。 原始的一致性哈希中,每个节点通过哈希之后在环上占有一个位置,可以通过对每个节点多次计算哈希来获得多个虚拟节点。 最后,一致性哈希可以用跳表或者平衡二叉树来实现。
一 前言 MySQL 在不同的事务隔离级别下提供两种读模式 一致性读(非加锁), 当前读(加锁读)。本文主要研究一致性读取。 在RR模式下,同一个事务内的一致性读的快照都是基于第一次读取操作时所建立的。下面我们做测试进行对RR模式下一致性读进行解读。 a. RR模式下的一致性读,是以第一条select语句的执行时间点作为snapshot建立的时间点的,即使是访问不同的表。 image.png c. 3.2 RC模式 RC 支持在本事务内读取到最新提交的数据,所以RC 事务隔离级别下的一致性读取比RR模式下的要简单很多。 参考文章 [1] 一致性读深入研究 [2] 官方文档
下表显示了硬件一致性与软件一致性 DMA 传输性能对比的简单示例。 在这一示例中,随着处理器缓存中脏数据量的增加(命中率),硬件一致性的性能也在提高。 这是因为,在拥有更多脏数据时,软件一致性版本将花费更多时间来清理缓存并使之失效。 将硬件一致性扩展到系统 硬件一致性并非新概念。 将硬件一致性扩展到系统需要一致总线协议。ARM 在 2011 年发布了 AMBA 4 ACE 规格,在流行的 AXI 协议基础上推出了“AXI 一致性扩展”。 虽然硬件一致性可能为互联和处理器增加一些复杂性,但它可以大大简化软件,实现凭借软件一致性无法实现的应用。 例如,big.LITTLE 全局任务调度。 Mali-T628 和 IO 一致性主控器通过 AMBA 4 ACE-Lite 接口与 CCI-400 连接。 这种 IO 一致性允许 IO 一致性代理从处理器缓存读取数据。
下面分析一致性哈希算法的容错性和可扩展性。现假设Node C不幸宕机,可以看到此时对象A、B、D不会受到影响,只有C对象被重定位到Node D。 综上所述,一致性哈希算法对于节点的增减都只需重定位环空间中的一小部分数据,具有较好的容错性和可扩展性。 另外,一致性哈希算法在服务节点太少时,容易因为节点分部不均匀而造成数据倾斜问题。 数据结构的选取 一致性Hash算法最先要考虑的一个问题是:构造出一个长度为232的整数环,根据节点名称的Hash值将服务器节点放置在这个Hash环上。 综上,String重写的hashCode()方法在一致性Hash算法中没有任何实用价值,得找个算法重新计算HashCode。 不带虚拟节点的一致性Hash Java实现 import java.util.SortedMap; import java.util.TreeMap; /** * 不带虚拟节点的一致性Hash算法