首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏idba

    浅谈一致性

    一 前言 MySQL 在不同的事务隔离级别下提供两种模式 一致性(非加锁), 当前(加锁)。本文主要研究一致性读取。 在RR模式下,同一个事务内的一致性的快照都是基于第一次读取操作时所建立的。下面我们做测试进行对RR模式下一致性读进行解读。 a. RR模式下的一致性,是以第一条select语句的执行时间点作为snapshot建立的时间点的,即使是访问不同的表。 image.png c. 四 当前一致性不太一样 ,当前需要使用select xx for update,或者 lock in share mode ,读取最新的数据并且锁定被访问的行,(RC 加行锁,RR加gap 参考文章 [1] 一致性深入研究 [2] 官方文档

    55130发布于 2018-08-09
  • 来自专栏luozhiyun的技术学习

    6. SOFAJRaft源码分析— 透过RheaKV看线性一致性

    开篇 其实这篇文章我本来想在讲完选举的时候就开始讲线性一致性的,但是感觉直接讲没头没尾的看起来比比较困难,所以就有了RheaKV的系列,这是RheaKV,终于可以讲一下SOFAJRaft的线性一致性是怎么做到了的 线性一致性readIndex 所谓线性一致,一个简单的例子是在 t1 的时刻我们写入了一个值,那么在 t1 之后,我们一定能读到这个值,不可能读到 t1 之前的旧值(想想 Java 中的 volatile ) 方法向 Leader 发送 ReadIndex 请求,交由Leader节点实现一致性。 所以我这里主要介绍Leader的一致性。 总结 我们这篇文章从RheaKVStore的客户端get方法一直讲到,RheaKVStore服务端使用JRaft实现线性一致性,并讲解了线性一致性是怎么实现的,通过这个例子大家应该对线性一致性有了一个相对不错的理解了

    89810发布于 2019-11-18
  • 来自专栏飞天小牛肉

    三分钟小短文:一致性非锁定一致性锁定

    台上三分钟,台下三小时,兄弟们,今天咱们花三分钟了解下数据库中的两种(select)操作:一致性非锁定一致性锁定 一致性非锁定 一致性非锁定是什么? 也就是说,在事务 1 刚开始的时候,id = 1 的数据行是什么样,现在读到的就是什么样的: 可以结合下面这张图来回顾下上述的过程: 一致性锁定 其实从名字上也能看出来,非一致性锁定适用于对数据一致性要求不是很高的情况 也即,非锁定机制极大地提高了数据库的并发性。 而一致性锁定适用于对数据一致性要求比较高的情况,这个时候我们需要对读操作进行加锁以保证数据逻辑的一致性。 其它事务可以向被锁定的行加 S 锁,但是不允许添加 X 锁,否则会被阻塞住 So,如何用大白话解释一致性锁定?上面这两条特殊的 select 语句就是一致性锁定一致性锁定就是给行记录加 X 锁或 S 锁! 简单不?

    68220编辑于 2022-02-23
  • 来自专栏爱可生开源社区

    技术分享 | 什么是半一致性

    ---- 什么是半一致性? 先看下官方的描述: 是一种用在 Update 语句中的操作(一致性)的优化,是在 RC 事务隔离级别下与一致性的结合。 测试案例 InnoDB 引擎的强大之处就在于它能完美地支持事务,而事务的一致性则是由事务隔离级别和并发事务锁来保证的。接下来,我们先通过 2 个测试案例来观察半一致性会对事务产生哪些影响。 Session 3:同样地,最开始也需要对读取到的记录一条条加锁,由于 id=7 的记录与 id=4、id=5 上的行锁并不冲突,此处可以利用半一致性对 Update 的优化特性,提前将 id=7 上的行锁释放掉了 Session 2:由于 Session 1 已经将全部记录都上了 X 锁,Session 2 当前的 Select 操作由于无法获取任何记录的 X 锁,就被阻塞了。 总结 在 RC 事务隔离级别下,Update 语句可以利用到半一致性的特性,会多进行一次判断,当 where 条件匹配到的记录与当前持有锁的事务中的记录不冲突时,就会提前释放 InnoDB 锁,虽然这样做违背了二阶段加锁协议

    4.2K30发布于 2020-06-28
  • 来自专栏程序员历小冰

    MySQL探秘(六):InnoDB一致性非锁定

    一致性非锁定(consistent nonlocking read)是指InnoDB存储引擎通过多版本控制(MVVC)读取当前数据库中行数据的方式。 上图直观地展现了InnoDB一致性非锁定的机制。之所以称其为非锁定,是因为不需要等待行上排他锁的释放。快照数据是指该行的之前版本的数据,每行记录可能有多个版本,一般称这种技术为行多版本技术。 一致性非锁定是InnoDB默认的读取方式,即读取不会占用和等待行上的锁。但是并不是在每个事务隔离级别下都是采用此种方式。此外,即使都是使用一致性非锁定,但是对于快照数据的定义也各不相同。   在事务隔离级别READ COMMITTED和REPEATABLE READ下,InnoDB使用一致性非锁定。然而,对于快照数据的定义却不同。 由于InnoDB在READ COMMITTED和REPEATABLE READ事务隔离级别下使用一致性非锁定,这时如果会话A再次读取id为1的记录,仍然能够读取到相同的数据。

    1.3K20发布于 2018-11-26
  • 来自专栏腾讯云数据库(TencentDB)

    TDSQL全局一致性技术详解

    针对这一点,腾讯云数据库TDSQL设计了全局一致性方案,解决了分布式节点间数据的一致性问题。 TDSQL全局一致性方案 刚刚介绍了为什么分布式下会存在一致性的问题,接下来分享TDSQL一致性的解决方案: 首先引入了全局的时间戳服务,它用来对每一笔事务进行标记,即每一笔分布式事务绑定一个全局递增的序列号 至此,我们有了全局一致性的基本思路和方案,下一步就是针对优化项的考虑了。 一致性下的性能优化 这部分内容的是在上述解决方案的基础上进行的优化。 即TDSQL可以提供两种一致性服务,一种是全局一致性,即基于全局GTS串行化实现,另外一种是关闭这个开关,只保证事务最终一致性。 开启一致性特性虽然能够解决分布式场景下的可重复读问题,但是由于新引入了全局GTS组件,该组件一定程度上属于关键路径组件,如果其故障业务会受到短暂影响。除此之外, 全局一致性对性能也有一定影响。

    2.2K92发布于 2021-11-05
  • 来自专栏程序员历小冰

    MySQL探秘(六):InnoDB一致性非锁定

    一致性非锁定(consistent nonlocking read)是指InnoDB存储引擎通过多版本控制(MVVC)读取当前数据库中行数据的方式。 一致性非锁定示意图  上图直观地展现了InnoDB一致性非锁定的机制。之所以称其为非锁定,是因为不需要等待行上排他锁的释放。 一致性非锁定是InnoDB默认的读取方式,即读取不会占用和等待行上的锁。但是并不是在每个事务隔离级别下都是采用此种方式。此外,即使都是使用一致性非锁定,但是对于快照数据的定义也各不相同。   在事务隔离级别READ COMMITTED和REPEATABLE READ下,InnoDB使用一致性非锁定。然而,对于快照数据的定义却不同。 由于InnoDB在READ COMMITTED和REPEATABLE READ事务隔离级别下使用一致性非锁定,这时如果会话A再次读取id为1的记录,仍然能够读取到相同的数据。

    63610发布于 2019-01-23
  • 来自专栏aoho求索

    MySQL探秘(六):InnoDB一致性非锁定

    一致性非锁定(consistent nonlocking read)是指InnoDB存储引擎通过多版本控制(MVVC)读取当前数据库中行数据的方式。 一致性非锁定示意图  上图直观地展现了InnoDB一致性非锁定的机制。之所以称其为非锁定,是因为不需要等待行上排他锁的释放。 一致性非锁定是InnoDB默认的读取方式,即读取不会占用和等待行上的锁。但是并不是在每个事务隔离级别下都是采用此种方式。此外,即使都是使用一致性非锁定,但是对于快照数据的定义也各不相同。   在事务隔离级别READ COMMITTED和REPEATABLE READ下,InnoDB使用一致性非锁定。然而,对于快照数据的定义却不同。 由于InnoDB在READ COMMITTED和REPEATABLE READ事务隔离级别下使用一致性非锁定,这时如果会话A再次读取id为1的记录,仍然能够读取到相同的数据。

    61940发布于 2018-12-17
  • 来自专栏智能生信

    【Bioinformatics】四篇好文简-专题6

    FraGAT: a fragment-oriented multi-scale graph attention model for molecular property prediction 论文摘要:

    1K40发布于 2021-11-02
  • 来自专栏智能生信

    【IJCAI】四篇好文简-专题6

    On the Neural Tangent Kernel of Deep Networks with Orthogonal Initialization

    37110编辑于 2022-10-05
  • 来自专栏智能生信

    【AAAI】四篇好文简-专题6

    Generate, Segment and Refine: Towards Generic Manipulation Segmentation 论文摘要:

    83020编辑于 2022-04-06
  • 来自专栏智能生信

    【NeurIPS】四篇好文简-专题6

    通过与最先进的GCL方法进行比较,作者通过实验验证了AD-GCL的性能,在18个不同的基准数据集上,在分子属性回归和分类以及社会网络分类的任务中,在无监督、转移和半监督学习环境下,总体性能分别提高了14%、6%

    72430编辑于 2022-05-23
  • 来自专栏数据和云

    【深度好文】有关延迟块清除和一致性

    本文进一步讨论一些有关延迟块清除和一致性方面的内容. 先来看看一个数据块中ITL的转储: ? 如果一个SQL语句对该块进行一致性时,发现ITL中的Upper bound的SCN比一致性需要的SCN大,这时会发生什么? 要回答这些问题,先来看下面的一系列测试过程: 1. 6. 在会话1中,然后转储之前T1表的事务使用的UNDO段头块,得到的内容如下: ? 基于这个原理,会话1知道,ITL中需要清除的事务小于等于UNDO段头中TRN CTL记录的SCN,而这个SCN值已经比它的一致性SCN要小,所以会话1足够判断不需要回滚该事务就能得到一致性结果,所以这个时候 上面的测试这也证明了本文得到的两个结论: 在一致性时进行块清除,并不需要得到事务的精确提交SCN(尽管它通过回滚事务表可能会得到精确的提交SCN),只需要它发现事务的提交SCN比自己的一致性的时间点小就可以了

    1.5K50发布于 2018-03-07
  • 来自专栏爱可生开源社区

    技术分享 | etcd 与 Consul 的一致性对比

    etcd[1] 和 Consul[2] 是现在比较流行的分布式一致性 KV 存储,本文就来分享和对比一下这两个存储的一致性的实现。 1Consul 一致性的实现 Consul 有三种模式: default consistent stale 其中 stale 是非一致性模式,而 default 和 consistent 是一致性的 小结 从这几段逻辑可以看出,Consul 的一致性是通过转发请求给 Leader 来实现的。 2etcd 一致性的实现 etcd 的分为串行(Serialize)和线性(Linearizable)两种模式。其中线性一致性模式。 同样的我们来看下一致性的实现: 可以看到串行和线性的区别只是在串行之前调用了 linearizableReadNotify 方法。

    1.2K10编辑于 2023-12-11
  • 来自专栏智能生信

    【Nature communications】四篇好文简-专题6

    论文链接: https://www.nature.com/articles/s41467-020-15816-6.pdf

    59910编辑于 2022-04-06
  • 来自专栏乔新亮

    6本书,了解华为和谷歌

    放假期间读了谷歌官方出品的谷歌三部曲:重新定义团队,重新定义公司和谷歌方法,对于谷歌公司运营、团队管理,人才管理有了进一步的了解。

    71710发布于 2020-05-15
  • 来自专栏智能生信

    【Nature Methods】四篇好文简-专题6

    mapping protein–DNA interactions genome wide 论文摘要: 对基因组调控的研究通常使用高通量DNA测序方法来确定特定蛋白质与DNA的相互作用,它们依赖于DNA扩增和短测序 然后利用长单分子测序技术,将这些外源性甲基化标记与未扩增DNA上的内源性CpG甲基化同时检测。作者通过绘制整个人类基因组的染色质结合蛋白和组蛋白修饰图对DiMeLo-seq进行了优化和基准测试。 论文链接: https://www.nature.com/articles/s41592-022-01475-6 三 论文题目: Deep learning and alignment of spatially

    59110编辑于 2022-10-05
  • 来自专栏huofo's blog

    MySQL事务(二)事务隔离的实现原理:一致性

    实际上,这个快照是基于InnoDB在实现MVCC时用到的一致性视图来实现的。 MVCC的全称是“多版本并发控制”。 在更新时如何使用一致性 image.png 图3 示例1 我们来看示例1,如果事务B在事务C更新之前查询,这个查询返回值是1。 而事务B是当前,而且必须要加锁,因此被锁住了,必须等到事务C'释放这个锁,才能继续它的当前。 到这里,把一致性、当前和行锁串起来了。 小结 本节问题,事务的可重复读隔离级别是如何实现的? 可重复读的核心就是一致性;而事务更新数据的时候,只能用当前。如果当前的记得的行锁被其他事务占用的话,就需要进入锁等待。 提交 提交的实现方式跟可重复读类似,它们最主要的区别是: 在可重复读隔离级别下,只需要在事务开始的时候创建一致性视图,之后事务里的其他查询都共用这个一致性视图; 在读提交隔离级别下,每个语句执行前都会重新算出一个新的视图

    59240编辑于 2022-03-18
  • 来自专栏数据和云

    变与不变: Undo构造一致性的例外情况

    其中介绍了Oracle如何使用UNDO来实现多版本一致性,使用了OPEN CURSOR的方式非常巧妙地在很少量数据的情况下构造出可重现的案例。 我们先来模拟一下UNDO构造一致性的情况,对于Oracle而言,默认的隔离级别是READ COMMIT,也就是说一个会话只能看到其他会话已经提交的修改,未提交的修改或者在当前会话查询发起之后提交的修改都是不可见的 PRINT :C NAME ------------------------------------------------------------ UPDATED WITH PK 可以看到例外产生了,一致性的结果被破坏了 Oracle11g以后,这个隐含参数默认值修改为TRUE,这使得Oracle对于基于主键的访问不再采用默认的一致性方案。 :C NAME ------------------------------------------------------------ I_EXTERNAL_TAB1$ Oracle恢复默认的一致性隔离级别

    65020发布于 2018-12-18
  • 来自专栏腾讯云数据库(TencentDB)

    数据库大牛李海翔详解全局一致性技术

    本次分享,基于数据库事务处理的核心技术并发访问控制技术和分布式系统CAP理论中的一致性,TDSQL原创性提出了全面地解决一致性的算法,是的,分布式事务的一致性和分布式系统的一致性统一在一起。 典型的例子如仿Spanner的CockroachDB,通过SSI实现了可串行化解决了事务类型的数据异常,但是不能解决全局一致性的问题(需要全局排序才能解决全局一致性问题,但混合时钟机制做不到全局有序 所以图6中给出的SS2PL整体就是封锁的并发访问控制协议,然后用2PC技术来实现提交阶段的原子写操作。这是整体架构。 在具体实现冲突解决的时候,需要结合MVCC和隔离级别,来解决各种数据异常。 图6 TDSQL第一代分布式事务处理架构图 其次,TDSQL第二代的事务处理模型,新支持了图7基于OCC(乐观并发访问控制技术)和DTS(动态调整时间戳的并发访问控制技术)的技术,使得TDSQL的分布式事务处理能力产生了质的飞跃 一是分布式一致性,二是分布式事务一致性。我们把这两种一致性,称为“全局一致性”(注意不是全局一致性哦)。

    14.5K31发布于 2019-05-16
领券