- 综合排序
- 最热优先
- 最新优先
- 来自专栏java一日一条
浅析数据一致性
什么是数据一致性? 在数据有多分副本的情况下，如果网络、服务器或者软件出现故障，会导致部分副本写入成功，部分副本写入失败。这就造成各个副本之间的数据不一致，数据内容冲突。 Consistency：一致性，这个和数据库ACID的一致性类似，但这里关注的所有数据节点上的数据一致性和正确性，而数据库的ACID关注的是在在一个事务内，对数据的一些约束。 CAP定理认为，一个提供数据服务的存储系统无法同事满足数据一致性、数据可用性、分区容忍性。 ---- 数据一致性实现技术 Quorum系统NRW策略 这个协议有三个关键字N、R、W。 N代表数据所具有的副本数。 R表示完成读操作所需要读取的最小副本数，即一次读操作所需要参与的最小节点数目。 采用分布式锁服务实现数据一致性，是在操作目标之前先获取操作许可，然后再执行操作，如果其他用户同时尝试操作该目标将被阻止，直到前一个用户释放许可后，其他用户才能够操作目标。
2.1K11发布于 2018-09-18 - 来自专栏咖啡拿铁
谈谈数据一致性
什么是数据一致性 数据一致性这个单词在平常开发中，或者各种文章中都能经常看见，我们常常听见什么东西数据不一致了，造成了一定的损失，赶快修复一下。 一般来说数据一致性我们可以分成三类，时间点一致性，事务一致性，应用一致性。
3.3K40发布于 2019-10-13 - 来自专栏编程一生
数据一致性-对账
一致性分为强一致性和弱一致性。 强一致性的协议和手段主要有：二阶段提交(2PC)、三阶段提交(3PC)、TCC(Try-Confirm-Cancel)补偿型。这里面经常有人把两阶段提交和TCC补偿型混淆。二阶段提交实际上业务逻辑是在提交之前做的，两阶段只是事务控制的两个阶段。而TCC是将业务逻辑分为try、confirm和cancel三个阶段。举个例子：比如一个人要预售苹果，有两种销售策略。一种让用户先付钱，根据用户需求量准备足够的苹果。另一种是让用户先付钱同时声明到时候先到先得，没抢到的就退款。第一种就是二阶段提交，第二种就是TCC。弱一致性在分布式系统中常用的是一种特例：最终一致性。在工作中，最终一致性通常通过补单和对账来解决。补单主要指在运行时同时检查返回值，如果返回值为失败，会重新处理（补单处理）。 对账主要分为两个阶段：数据核对和差错处理。数据核对就是对账中的轧账。注意「轧」这里念「ga」二声。差错处理就是对账中的平账。
2.1K21发布于 2019-10-25 - 来自专栏木东居士的专栏
浅谈数据一致性
浅谈数据一致性 |0x00 数据不一致产生的原因 互联网的工程开发，与传统软件相比，往往要面临非常复杂多变的业务场景，这是老生常谈的问题了。 |0x02 解决数据一致性的模式 通过上一阶段理论演进的阐述，可以看出，互联网工程领域往往通过“最终一致性”的方式，来保障数据的一致性。因此接下来提到的解决思路，都是围绕“最终一致性”展开的。 |0xFF 从全局角度再思考 不论是从数据库层面，还是从工程层面，或者是人工兜底层面，数据一致性总有解决的方法，区别只是场景适用性与成本高低的问题。 随着技术发展的越来越快，解决方案手段的不断增加，技术架构解耦就是一种必然的要求，在不同的场景下选用自己最适合的方案，但由此带来的数据一致性问题也将成为技术融合道路上的一个阻碍。
1.4K30发布于 2020-11-03 - 来自专栏喵叔's 专栏
微服务--数据一致性
本篇文章讲解微服务数据一致性相关的知识 一、案例 在使用微服务时，存在跨多个服务更新数据库数据的情况。 在我们实际项目中只要涉及数据一致性的问题，就可以分为两种情况： 可实时数据不一致，但最终数据必须一致（最终一致性） 实时数据必须一致 针对这两种情况我们分别来看一下如何解决。 小结 解决数据一致性，就是这么简单。
67820编辑于 2022-09-28 - 来自专栏开源部署
Hadoop HDFS 数据一致性
HDFS 会对写入的所有数据计算校验和(checksum)，并在读取数据时验证校验和。针对指定字节的数目计算校验和。字节数默认是512 字节，可以通过io.bytes.per.checksum属性设置。通过CRC-32编码后为4字节。
58510编辑于 2022-06-28 - 来自专栏Michael阿明学习之路
ZooKeeper 保证数据一致性
分布式一致性原理 CAP 原理认为，一个提供数据服务的分布式系统 无法同时满足 数据一致性（Consistency）、可用性（Availibility）、分区耐受性（Patition Tolerance 架构 收到请求后，发送给其他服务器进行表决 如果收到多个，就按时间戳和服务器排序规则进行表决 只有收到多数表决同意时，才会决定执行 表决机制保证只有一个请求会执行，保证一致性 牺牲了部分可用性，换来数据一致性
42120发布于 2021-09-06 - 来自专栏有文化的技术人
Mongo数据一致性浅析
根据 CAP 理论的一致性（Consistency）问题，即在读写发生在不同节点的情况下，怎么保证每次读取都能获取到最新写入的数据。这个一致性即是我们今天要讨论的MongoDB 可调一致性模型中的一致性，区别于单机数据库系统中经常提到的 ACID 理论中的一致性。
73520编辑于 2023-08-19 - 来自专栏架构狂人
redis 如何保证数据一致性
为什么会数据不一致 数据一致性：指的是redis缓存跟数据库的数据的一致。假如缓存中没有数据，那么数据库的值必须是最新的。如果缓存中有数据，那么缓存中的值需要跟数据库的值相同。 理解完上述数据一致性的前提，我们看下什么情况下会导致缓存跟数据库的数据不一致。
1.3K20编辑于 2023-08-16 - 来自专栏菜鸟成长学习笔记
Redis缓存数据一致性分析
文章主旨 文章前面提到的数据一致性，指的是MySQL与缓存中数据如何保持同步。后面文章也是针对如何去实现数据同步进行分析。
82431发布于 2021-02-02 mysql和redis数据一致性
redis逻辑清晰，可控性强代码侵入性大，可能出现数据不一致适用于高并发读写场景Binlog 监听同步解析 MySQL Binlog 并同步到 Redis（如 Canal）自动化同步，降低应用层负担存在延迟，数据一致性需优化高吞吐量业务
25100编辑于 2025-03-16- 来自专栏Java技术债务
ClickHouse的数据一致性（七）
目录 数据一致性的方案 1 手动使用OPTIMIZE（强烈不建议生产上使用） 2 通过 Group by 去重 3 通过 FINAL 查询 数据一致性的方案 查询 CK 手册发现，即便对数据一致性支持最好的
73720编辑于 2022-08-09 - 来自专栏技术杂记
Mysql复制数据一致性检查
percona 收集整理和维护而成 其中有两个特别有用的工具 pt-table-checksum 和 pt-table-sync ，分别可以用来进行主从一致性检查，和不一致数据修复 下面分享一下Mysql复制数据一致性检查的基本操作
40810编辑于 2022-04-23 数据一致性解决方案
多份存储的数据如何保障数据一致性，是作为系统架构设计师必须解决的问题。数据一致性定义了数据的更新顺序和可见性规则。 不同的业务对数据一致性要求不同，例如金融在线业务对数据一致性高，互联网内容点赞、评论等对大多只要求最终一致性。基础理论1. 分布式理论：ACID、CAP、BASE在聊数据一致性之前，首先抛转引起，说说几种分布式理论：ACID（原子性、可用性、隔离性、持久化）、CAP（一致性、可用性、分区容错性）、BASE（基本可用、软状态、 数据一致性分类1.线性一致性（强一致性）操作顺序与与实际发生的顺序一致并且操作立即可见，一般用分布式事务解决raft协议和paxos协议保障，是分布式系统重用户最希望看到的状态。 但是Zookeeper 允许客户端从从节点读取数据，因此如果客户端在读取过程中连接了不同的节点，则顺序一致性就得不到保证了，基于这个原理也就能理解kafka能保障同一分区中数据一致性。
45720编辑于 2024-09-06- 来自专栏大数据架构
Spark CommitCoordinator 保证数据一致性
5.4.4 概述 Spark 输出数据到 HDFS 时，需要解决如下问题： 由于多个 Task 同时写数据到 HDFS，如何保证要么所有 Task 写的所有文件要么同时对外可见，要么同时对外不可见，即保证数据一致性 recoverTask 上文所述的 commitTask 与 commitJob 机制，保证了一次 Application Attemp 中不同 Task 的不同 Attemp 在 commit 时的数据一致性 也即 V2 更易发生数据一致性问题
1.5K41发布于 2018-10-10 - 来自专栏服务化进程
数据一致性场景实战（一）
场景一：多redis数据一致性 背景 现在很多并发性很高的系统为了提高吞吐量而使用redis来当数据存储，而当redis挂了的时候有可能数据丢失，这个时候系统可能不可用，而把流量路由到db肯定是不可行的 这个时候怎么保证多个redis集群数据一致性呢？ 解决方案 方案一：强一致性方案-分布式事务中间件 就是在业务代码层面控制，使用分布式事务中间件或者使用tcc来控制事务。 读取缓存步骤一般没有什么问题，但是一旦涉及到数据更新：数据库和缓存更新，就容易出现缓存和数据库间的数据一致性问题。 方案 方案一：延时双删策略 先说一下双删策略，也就是更新前删除以及更新后删除。
57211编辑于 2022-01-06 - 来自专栏蓝天
向量时钟解决数据一致性
向量时钟解决数据一致性 向量时钟简介 向量时钟，最早是用于分布式系统中进程间的时间同步。由于在分布式系统中没有一个直接的全局逻辑时钟。 数据一致性（Quorum） 定义 N：系统中数据的备份数 R：读取操作最小成功数 W：写操作最小成功数 要求：R+W>N 配置 R+W>N，保证读操作至少能读取到一个最新数据 读写速度受性能最差的节点影响 R和W越小，系统的响应越快 W越大，数据的一致性，可用性越强 通常：N=3， R=W=2 时钟向量与数据冲突处理 *将上述向量时钟应用到解决数据一致性的问题上来
93810发布于 2018-08-07 - 来自专栏高剑林的专栏
数据一致性和 io 类型
总结 对于单一的存储系统来说，数据一致性，性能和可靠性是几个矛盾的指标。标准的linux内核在这方面也有些左右为难。比如内核在io失败的情况下，一般会重试（内核设置了5次的重试）。
4.1K10发布于 2016-09-26 MQ 如何保证数据一致性？
这个Bug让我明白：（MQ）消息队列的数据一致性设计，绝对能排进分布式系统三大噩梦之一！今天这篇文章跟大家一起聊聊，MQ如何保证数据一致性？希望对你会有所帮助。 1 数据一致性问题的原因这些年在Kafka、RabbitMQ、RocketMQ踩过的坑，总结成四类致命原因：生产者悲剧：消息成功进Broker，却没写入磁盘就断电。 4 系统架构设计接下来，从系统架构设计的角度，聊聊MQ要如何保证数据一致性？4.1 生产者端对于实效性要求不太高的业务场景，可以使用：本地事务表+定时任务扫描的补偿方案。 记住，分布式系统的数据一致性不是银弹，而是通过层层防御达成的动态平衡。就像当年我在做资金结算系统时，老板说的那句震耳发聩的话：“宁可慢十秒，不可错一分”。
46310编辑于 2025-03-27- 来自专栏技术杂记
Mysql复制数据一致性检查2
，或手动执行其中部分SQL 执行完修改后，再重复上面的操作检查一次 这个工具好在，业务在线时可以执行，不会对系统造成很大影响(会产生一定量的读IO，但不会产生有明显业务影响的锁)，特别是在大表，核心表数据一致性检查时太能解渴了
49010编辑于 2022-04-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号