首页
学习
活动
专区
圈层
工具
发布

大胆假设小心求证:MySQL双写+双向复制实战

导语双主架构在MySQL中使用比较普遍,因为有故障后恢复方便的优点。但双写+双向复制的架构业界极少采用,这种架构下可能有什么问题?如何规避这种架构下的数据风险?本文根据实践经验做出了总结。 1....双主结构 MySQL的复制大家应该都了解,而所谓双主结构,如上图所示,就是A和B这2台数据库主机互为主备,不论从哪一台写入数据,都会复制到另外一台。...2.4 缺少锁的保护 双向复制导致数据不一致的原因是缺少了锁的保护,当并发写入/更新发生在同一个数据库主机上的INNODB表的时候,会有行锁(X锁)的保护,第1个事务会成功,其它事务等待,如果不发生锁等待超时...来源:《高可用MySQL》 我们以实际部署的情况来看,如下图所示,假设A1主机故障,A2接管,A2和B1重新建立双向复制关系,采用binlog往前推几个,冥等方式,则会导致循环复制问题!...其它问题 1, 授权时双向复制互相传递的问题:通过在同一个IDC针对所有主备采用不记binlog,分别独立授权的方式,避免此问题 2, 对于数据库修改单,必须保证和业务写入逻辑一致,在正确的主机上执行

3K21
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    数据库MySQL-复制

    复制 复制的本质是可以帮助MySQL分担读负载, 并不能实现写负载. MySQL的高可用可以为高可用, 灾难恢复, 备份提供了很多的选择....MySQL的复制是基于主库上的binglog二进制日志来进行增量推送的, 所以在同一个时间内如果从主库写入数据, 然后快速的向从库读取数据是没有办法做到十分准时的 2....MySQL的复制解决了什么问题 实现了在不同服务器上的数据分布 利用二进制的日志增量进行 不需要太多的带宽 但是使用基于行的复制在进行大批量的更改时会对贷款带来一定的压力 实现数据读取的负载均衡 需要其他组件配合完成...MySQL日志 1.1 MySQL服务层日志 二进制日志 慢查日志 通用日志 1.2 MySQL存储引擎层日志 innodb 的事务提交日志和回滚日志 二进制日志 纪录了所有对MySQL数据库的修改事件...对每一行数据的修改比基于段的复制更加高效 当我们因为误操作修改了数据库中的数据, 同时有没有备份可以恢复时, 我们就可以通过分析二进制日志, 对日志中记录的数据修改操作做反向处理的方式来达到恢复数据的目的

    3.2K20

    干货 | 携程异地多活-MySQL实时双向(多向)复制实践

    作者简介 Roy,携程软件技术专家,负责MySQL双向同步DRC和数据库访问中间件DAL的开发演进,对分布式系统高可用设计、数据一致性领域感兴趣。...为了做到真正的数据异地多活,实现MySQL同机房就近读写,机房故障时无需进行数据库DR操作,只进行流量切换,就需要引入数据实时双向(多向)复制组件。 ?...二、DRC 介绍 DRC(Data Replicate Center)是携程框架架构研发部推出的用于数据双向或多向复制的数据库中间件,在公司G2(高品质Great Service、全球化Globalization...循环复制 单向复制时,经过DRC复制到对端的SQL在执行后,同样会落到MySQL的Binlog中,这样在双向(多向)复制结构中,对端的Replicator Instance在拉取到该条Binlog后如果继续复制...如下双向复制结构,Replicator Instance1只会同步源MySQL集群uuidSet1中的服务器产生事务,Replicator Instance2只会同步目标MySQL集群uuidSet2中的服务器产生事务

    3.4K21

    MySQL 数据库复制表命令

    如果我们需要完全的复制MySQL的数据表,包括表的结构,索引,默认值等。 如果仅仅使用CREATE TABLE ... SELECT 命令,是无法实现的。...本章节将为大家介绍如何完整的复制MySQL数据表,步骤如下:使用 SHOW CREATE TABLE 命令获取创建数据表(CREATE TABLE) 语句,该语句包含了原数据表的结构,索引等。...复制以下命令显示的SQL语句,修改数据表名,并执行SQL语句,通过以上命令 将完全的复制数据表结构。如果你想复制表的内容,你就可以使用 INSERT INTO ... SELECT 语句来实现。...实例尝试以下实例来复制表 runoob_tbl 。步骤一:获取数据表的完整结构。...AUTHOR_INDEX` (`runoob_author`) -> ) ENGINE=InnoDB; Query OK, 0 rows affected (1.80 sec) 步骤三:执行完第二步骤后,你将在数据库中创建新的克隆表

    5.4K00

    MySQL 数据库复制表命令

    如果我们需要完全的复制MySQL的数据表,包括表的结构,索引,默认值等。 如果仅仅使用CREATE TABLE ... SELECT 命令,是无法实现的。...本章节将为大家介绍如何完整的复制MySQL数据表,步骤如下:使用 SHOW CREATE TABLE 命令获取创建数据表(CREATE TABLE) 语句,该语句包含了原数据表的结构,索引等。...复制以下命令显示的SQL语句,修改数据表名,并执行SQL语句,通过以上命令 将完全的复制数据表结构。如果你想复制表的内容,你就可以使用 INSERT INTO ... SELECT 语句来实现。...实例尝试以下实例来复制表 runoob_tbl 。步骤一:获取数据表的完整结构。...AUTHOR_INDEX` (`runoob_author`) -> ) ENGINE=InnoDB; Query OK, 0 rows affected (1.80 sec) 步骤三:执行完第二步骤后,你将在数据库中创建新的克隆表

    5.4K00

    再讲Mysql主从延迟(外赠MySQL异地多活的数据双向复制经验.pdf)

    数据库的集群架构都不陌生了,最熟悉也是应用最广泛的就是咱们熟知的主从,今天大概的回味下: 主从复制 MySQL复制基于主服务器在二进制日志中跟踪所有对数据库的更改(更新、删除等等)。...从架构图中我们可以分析,在大并发量较大的情况下,会出现主从复制延迟这种问题,如何解决?目前已经有了比较成熟的方案。 主从复制原理图: ? 步骤1: 所有数据更新都会被主库记录到主库的二进制日志。...DCL(Data Control Language): 是数据库控制功能。是用来设置或更改数据库用户或角色权限的语句,包括(grant,deny,revoke等)语句。...则不需要这么高的数据安全,完全可以将sync_binlog设置为0或者关闭binlog,innodb_flushlog也可以设置为0来提高sql的执行效率 3、使用比主库更好的硬件设备作为slave 4、使用mysql5.7...参看 《MySQL 5.7 并行复制实现原理与调优》 5、分库分表 http://www.cnblogs.com/hackxhao/p/5496254.html 这两篇文章写的很好,需要好好拜读!!

    1.7K20

    mysql数据库主从复制教程

    此时两台机子的mysql应该是可以相互访问的,如果不可以,导致的原因有很多,最常见的是防火墙没关,或者是安全组没有放通3306端口(从) 主数据库配置 登录主服务器,进入mysql的配置文件/etc/mysql...重启服务(这个是ubuntu的重启方式之一): $ /etc/init.d/mysql restart 进入mysql,查看主服务器mysql master状态: mysql> show master...log-bin-index=master-bin.index server-id可以是其他,但是不能与主服务器上的一样 从数据库连接主服务 在从服务器中,登录数据库,输入: mysql> change...: Slave_IO_Running: Yes Slave_SQL_Running: Yes 测试 在主数据库上创建一个test_zhucong的数据库,创建一个test表 可以看到,从数据库也相应的有了这个数据库以及表...注意 做主从复制时,首先确定两台服务器的mysql没任何自定义库(否则只可以配置完后之前的东西没法同步,或者两个库都有完全相同的库应该也是可以同步,图中主数据库有些数据库在从的里面没有,就是因为主从设置之前

    3.6K50

    MySQL数据库实现主从复制

    基于这种情况,就出现了主从复制这个技术。 **主从复制:**就是有两个数据库服务器,一个是主(master)数据库服务器,另一个是从(slave)数据库服务器。...主从复制原理主要有三个线程不断在工作: 主(master)数据库启动bin二进制日志,这样会有一个Dump线程,这个线程是把主(master)数据库的写入操作都会记录到这个bin的二进制文件中。...安装MySQL 要实现主从复制就需要两台数据库服务器,可以参考这篇文章《在CentOS上使用Nginx和Tomcat搭建高可用高并发网站》安装两个CentOS虚拟机。...配置主从复制 主(master)数据库主要做以下几件事情: 开启bin二进制日志; 配置唯一的server-id; 获得主(master)数据库二进制日志文件名及位置; 创建一个用于slave和master...,我们还可以配置其他的信息,比如不要复制哪些数据库,或者是只是复制哪些数据库。

    3.8K30

    MySQL数据库,浅谈MySQL集群主从复制

    在实际的开发环境中,数据的重要性不言而喻,每一个数据都是有其价值的,提供安全可靠的数据保障是技术与运维部门的职责所在;为了保障数据的安全性,大多数的开发都采用了数据库的主从复制,其中MySQL集群主从复制也是保障...MySQL数据库数据安全的一道坚不可摧的防线。...MySql高并发的处理方案就是多主多从,可以极大地提高数据库的容灾能力,降低磁盘I/O访问的评率,提高单个机器的I/O性能。 下面我们来看看MySQL集群主从复制的具体步骤: 1....最后 I/O Thread 和 SQL Thread 将进入睡眠状态,等待下一次被唤醒; :mysql要做到主从复制,就是A服务把自己所做的增删改的操作全都记录在日志中,B数据库就根据这份日志上面的操作在自己身上再操作一遍...总而言之,MySQL集群主从复制的存在是符合客观规律的,既实现服务器负载均衡,又通过复制实现数据的异地备份,从而提高了数据库系统的可用性。

    3.8K20

    技术公开课丨携程DRC-MySQL数据双向复制实践

    随着携程国际化战略的实施,业务海外部署需求增大,MySQL数据库主从架构下,海外服务写延迟大。...DRC通过将部署在不同机房的MySQL数据进行双向复制,实现单机房保存全量数据,业务本地读写。单机房故障时,分钟级机房流量切换。...博文视点学院联合携程技术团队,于9月15日(今晚)19:00带来技术分享《携程DRC-MySQL数据双向复制实践》,由携程软件技术专家李明冬老师带你一同深入剖析DRC内部设计和实现原理。...携程DRC-MySQL数据双向复制实践 9月15日(今晚)  19:00 ▲扫码即刻报名▲ 你将收获 你会了解到: DRC基本架构 DRC高可用设计方案 讲师介绍 李明冬 携程软件技术专家,围绕数据异地多活项目...,负责DRC(数据实时双向或多向复制)项目设计与开发工作、负责DAL(数据库访问中间件)项目设计和演进。

    77120

    MySQL数据库的主从复制方法

    复制解决的问题 MySQL的复制使用二进制文件通常不会对带宽造成很大的压力,复制可以使相同数据很方便的同步到不同的服务器上。...通过MySQL复制可以将°操作分布到不同的服务器上,实现对读密集型应用的优化,即达到负载均衡的目的。 数据库备份。 数据库防灾。 工作原理 在主库上把数据更改记录到二进制日志中。...配置方法 首先需要两个版本、扩展完全相同的数据库。(MySQL具有向下兼容性,高版本可以做低版本的备库,反之则不行。...使用相同版本数据库可以避免很多麻烦) 创建复制账号 MySQL会赋予一些特殊的权限给复制线程。在从库运行的I/O线程会建立一个到主库的TCP/IP连接,因此需要创建一个具有响应权限的用户。...: No` I/O线程未启动 `Slave_SQL_Running: No` SQL重放线程未启动 启动复制start slave \G image.png 测试同步结果 在主库创建一个数据库之后

    3K00

    windows下MySQL数据库主从复制

    关于MySQL数据库的主从复制,网上相关文章多数是基于Linux环境,笔者曾有 实施过Windows环境下MySQL数据库的主从复制。...架构1:一主一从 一.MySQL主从复制(也称A/B复制)的原理 (1) Master将数据改变记录到二进制日志(binary log)中,也就是配置文件log-bin指定的文件,这些记录叫做二进制日志事件...# 待同步的数据库 # 需要同步的数据库名,如果有多个数据库,可重复此参数,每个数据库一行 binlog-do-db = test # 不同步mysql系统数据库 binlog-ignore-db =...否则配置失败) 6.检查从数据库复制功能状态 image.png –参数解释: -Slave_IO_Running=Yes -Slave_SQL_Running=Yes –如果都是Yes,则说明配置成功...,如果有多个数据库,可重复此参数,每个数据库一行 binlog-do-db = test # 不同步mysql系统数据库 binlog-ignore-db = mysql server-id = 1 auto_increment_offset

    4.5K60

    mysql复制

    一、复制的意义 mysql的复制功能是构建基于MySql大规模,高性能应用的基础,我们可以通过为服务器配置一个或多个备库来进行数据同步;复制功能不仅有利于构建高性能的应用,同时也是高可用性,可扩展行,灾难恢复...,备份以及数据仓库等工作的基础 二、复制的方式 Mysql支持3种方式:基于语句的复制、基于行的复制、混合复制。...SQL线程执行的事件也可以通过配置选项来决定是否写入备库的二进制日志中 五、复制的场景 1、同步复制场景 MySQL Cluster(NDB)采用同步复制,保证集群内数据的强一致性。...binlog event worker_thread(sql_thread):执行分配到的binlog event,各个线程之间互不影响 多线程原理: sql_thread的分发是依据当前事务锁操作的数据库名称来进行分发...,如果事务是跨分片的,需要等待已分配的改数据库的事务全部执行完毕,才会继续分发 2、基于GroupCommit的并行复制 mysql5.7版本,并行复制的实现添加了另外一种并行的方式,即主库在orderd_commit

    3.9K80

    mysql 复制

    概述 MySQL的复制功能是构建基于MySQL的大规模、高性能应用的基础。复制功能不仅有利于构建高性能的应用,同时也是高可用性、可扩展性、灾难恢复、备份以及数据仓库等工作的基础。...本文主要讲述复制如何工作,基本的复制如何搭建,复制的相关配置和优化复制服务器。...配置复制 为MySQL服务器配置复制非常简单。最基本的场景是新安装的主库和备库,总的来说分为以下几步: 在每台服务器上创建复制账号。 配置主库和备库。 通知备库连接到主库并从主库复制数据。...创建复制账号 MySQL 会赋予一个特殊的权限给复制线程。在备库运行的I/O线程会建立一个到主库的TCP/IP连接。这意味着必须在主库创建一个用户,并赋予一个合适的权限。...运行下面的命令进行复制: mysql> start slave; Query OK, 0 rows affected (0.00 sec) 执行该命令没有显示错误,我们再用show slave status

    3.5K40
    领券