首页
学习
活动
专区
圈层
工具
发布

mysql主从复制 跳过表

基础概念

MySQL主从复制是一种数据库复制技术,它允许一个MySQL数据库(主库)的数据被复制到一个或多个其他MySQL数据库(从库)。主从复制通常用于提高数据库的读取性能、实现数据备份和故障恢复。

跳过表的优势

  1. 灵活性:在某些情况下,可能不需要复制某些表的数据,例如临时表、日志表或只用于特定环境(如开发、测试)的表。跳过这些表可以减少网络带宽和存储空间的消耗。
  2. 性能优化:减少不必要的数据复制可以提高主从复制的整体性能。

类型

MySQL主从复制本身并不直接支持跳过特定表的功能,但可以通过以下方法实现类似效果:

  1. 基于行的复制(Row-Based Replication):在这种模式下,只有发生变化的行会被复制到从库。如果某个表的数据变化很小,这种方法可以间接达到“跳过”大表的效果。
  2. 过滤复制(Filtered Replication):虽然MySQL原生不支持过滤复制,但可以通过一些技巧(如使用触发器或存储过程)在主库上过滤掉不需要复制的表的数据。

应用场景

  • 开发环境:在开发环境中,可能只需要复制部分表的数据以节省资源。
  • 数据隔离:在某些情况下,可能需要将敏感数据或特定业务数据隔离在从库中,以避免这些数据被复制到其他环境。
  • 性能优化:对于读取密集型应用,可以通过跳过大表来优化主从复制的性能。

遇到的问题及解决方法

问题:如何跳过特定表?

解决方法:

  1. 使用触发器:在主库上为需要跳过的表创建触发器,在插入、更新或删除操作时,不将这些操作记录到二进制日志中。
  2. 修改配置文件:虽然MySQL本身不支持直接跳过表,但可以通过修改从库的配置文件来限制复制的数据库或表。例如,可以在从库的my.cnf文件中设置replicate-ignore-table参数来忽略特定的表。
代码语言:txt
复制
[mysqld]
replicate-ignore-table=db_name.table_name
  1. 使用第三方工具:有些第三方工具提供了更高级的复制过滤功能,可以根据需要进行配置。

原因及解决方法

原因:跳过表的需求通常源于数据隔离、性能优化或特定环境的需求。

解决方法:

  • 评估需求:首先明确哪些表需要跳过,以及跳过这些表的具体原因。
  • 选择合适的方法:根据需求选择使用触发器、修改配置文件或第三方工具来实现跳过表的功能。
  • 测试和验证:在实施跳过表的操作后,务必进行充分的测试和验证,确保数据的一致性和完整性。

参考链接

请注意,以上方法可能需要根据具体的业务需求和环境进行调整。在实际操作中,建议咨询专业的数据库管理员或开发人员。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

技术分享 | MySQL 主从复制过滤新增库表过滤方案

1技术背景 如图所示,需要将原有的主从复制过滤的配置再新增几个库做同步,需要考虑一个效率最高的方式。 主从复制过滤 这里效率主要表示时间、空间成本,如何用更少的时间和空间完成配置变化。...命令示例如下 ## 数据还原 shell> mysql < db4_db5.sql ## 这个报错可以忽略,其他如果数据报错不可忽略 ERROR 1840 (HY000) at line 424:...SHOW SLAVE STATUS\G 4补充说明 备份方式 文档中用的 mysqldump 做的备份恢复示例,实际用 Xtrabackup 也可,只是 Xtrabackup 在恢复时需要结合可传输表空间特性做恢复...表级别复制过滤 文档中只是演示了库级的复制过滤添加,表级别的操作方式基本相同,只是针对不同库下不同表,不能同时备份(mysqldump 不支持)。...本文关键字:#MySQL# #主从复制# #备份恢复# ##

1.3K10
  • MySQL主从复制

    主从是MySQL最基本的数据冗余与高可用方案,本文重点介绍一下如何搭建,以及如何只同步部分库或表 搭建主从复制 配置Master 配置my.cnf 修改mysql配置文件,不同的系统my.cnf路径不同...expire_logs_days=7 ## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。...库一般不同步) binlog-ignore-db=mysql ## 只复制指定的表(忽略其他的表) replicate-do-table=blog.user ## 开启二进制日志功能,以备Slave...expire_logs_days=7 ## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。...可以,不过从库也需要开启二进制日志,如 ## 开启二进制日志功能,以备Slave作为其它Slave的Master时使用 log-bin=mysql-slave1-bin 参考 MySQL 主从复制搭建

    2.5K21

    MySql主从复制

    主从集群 在MySql的生产环境中,由于单台MySql不能满足高可用性需求,一般通过主从复制(Master-Slave)方式同步数据,再通过读写分离(MySql-Proxy)来提升数据库并发负载能力。...,以便下一次备份从备份点开始 MySql主从复制需要三个线程: master的binlog dump thread slave的IO thread slave的Sql thread binlog dump...同一个事务不能被拆分,须分配到同一个work 如:同一个事务更新表1和表2的各一行,分配到两个work,最终执行结果一致,但如果在表1执行完成的瞬间,来一个查询请求,则就会看到事务执行到一半的结果,破坏了事务的隔离性...按库并行 这是MySQL最先推出的并行复制策略,模型如下: ? 如图所示,每个 worker 线程对应一个 hash 表,用于保存当前正在这个worker的执行队列里的事务所涉及到的库。...hash值通过”库名+表名+索引名+值“计算,若表上还有其他唯一索引,那么对每一个唯一索引,在insert语句上会多一个hash值。

    3K30

    Mysql主从复制

    一、mysql主从同步原理 Mysql主从复制也可以称为Mysql主从同步,它是构建数据库高可用集群架构的基础。...Mysql支持单向,双向,链式级联,异步复制,复制过程中一台服务器充当主库(master),而一个或者多个服务器充当从库(slave) 1.1、主从复制功能 主从复制原理:master服务器上工作线程I...1.2、复制中的参数详解 log-bin:搭建主从复制,必须开启二进制日志 server-id:mysql在同一组主从结构中的唯一标识 sever-uuid:存放在数据目录中的auto.cnf中 read....000004', MASTER_LOG_POS=3034; # 开启主从 start salve # 查看主从复制状态 show slave status\G 三、mysql主从复制 (gtid)...show slave status\G 3.5、跳过事务 stop slave set gtid_next='f75ae43f-3f5e-11e7-9b98-001c4297532a:20' begin

    2.1K21

    MySQL 主从复制

    MySQL 主从复制 环境准备: win10 MySQL 5.5 (主机) Linux CentOS7 MySQL 5.7 (从机) ==主从复制原理图:== 20201224155619.png MySQL...一主一从常见配置 在开始之前需要注意一下几点: MySQL 版本一致且后台正常服务运行(博客开头以提及) 主从配置在[mysql]结点下,都是小写 主机修改 my.ini 配置文件(win10) ​ my.ini...配置文件在 MySQL 的安装目录下,一般默认在 C:\Program Files\MySQL目录下。...=mysql_01 设置 logbin 格式 binlog_format=STATEMENT(默认) ==参考示例图:== image.png mysql 主从复制起始时,从机不继承主机数据 从机修改...测试 主机新建库、新建表、insert 记录,从机复制 windowns: create database mydb_01; use mydb_01; create table mytb1(

    1.2K20

    MySQL主从复制

    MySQL主从复制 MySQL有四种同步方式: 异步复制(Async Replication) 同步复制(sync Replication) 半同步复制(Async Replication) 增强半同步复制...MySQL复制默认是异步复制,异步复制提供了最佳性能。...MySQL 5.5版本之后引入了半同步复制功能,主从服务器必须安装半同步复制插件,才能开启该复制功能。...MySQL增强半同步原理 如上图,增强半同步事务提交需要等待从库ACK消息,但未开启增强半同步时从库接收到binlog后不会向主库返回ACK信息,只有开启后才会在接收到binlog后向主库返回ACK信息...解决方案: 日后开启增强半同步需注意顺序,先开启从库后开启主库 参考资料 https://dev.mysql.com/doc/refman/5.7/en/faqs-replication.html https

    88830

    Mysql主从复制

    什么是Mysql主从复制 主从复制是指一台服务器充当主数据库服务器,另一台或多台服务器充当从数据库服务器,主服务器中的数据自动复制到从服务器之中。对于多级复制,数据库服务器即可充当主机,也可充当从机。...MySQL主从复制的基础是主服务器对数据库修改记录二进制日志,从服务器通过主服务器的二进制日志自动执行更新。...Mysq主从复制的类型 基于语句的复制: 主服务器上面执行的语句在从服务器上面再执行一遍,在MySQL-3.23版本以后支持。...在MySQL主从复制架构中,读操作可以在所有的服务器上面进行,而写操作只能在主服务器上面进行。...主从复制架构虽然给读操作提供了扩展,可如果写操作也比较多的话(多台从服务器还要从主服务器上面同步数据),单主模型的复制中主服务器势必会成为性能瓶颈。 Mysql主从复制的工作原理 ?

    1.9K41

    MySQL主从复制

    我们就以互联网最常用的MySQL数据库为例,一起探索SQL的奥秘。本文主要讲解MySQL主从复制原理和搭建过程。...MySQL主备的应用场景 1.sql语句需要锁表,导致暂时不能使用读服务,使用主从复制,让主库负责写,从库负责读,通过读从库保证业务的正常运作。...MySQL主从复制原理 binlog: binary log,主库中保存所有更新事件日志的二进制文件。 主从复制的基础是主库记录数据库的所有变更记录到binlog。...mysql主从复制是一个异步的复制过程,主库发送更新事件到从库,从库读取更新记录,并执行更新记录,使得从库的内容与主库保持一致。 每一个主从复制都有三个线程。...构建主从复制 1.在Master(192.168.0.207) 主MySQL上创建一个mysnc用户 用户名:mysync 密码:mysync [root@cdh2 ~]# systemctl restart

    2.2K43

    mysql主从复制

    mysql主从复制 MySQL主从复制是一种常见的数据库架构,用于实现数据的备份、负载均衡和故障恢复等功能。...主从复制概述 主从复制是指将一个MySQL数据库服务器(主服务器)的数据复制到另一个MySQL数据库服务器(从服务器)的过程。...主从复制原理 MySQL主从复制的原理基于二进制日志(Binary Log)和复制线程(Replication Thread)。...示例代码:MySQL主从复制的配置 下面是一个简单的MySQL主从复制配置示例: -- 在主服务器上设置二进制日志 # 主服务器配置文件 my.cnf [mysqld] log-bin=mysql-bin...示例代码:MySQL主从复制的应用 假设我们有一个电子商务网站,我们可以使用MySQL主从复制来实现负载均衡和灾难恢复。

    1K10

    Mysql主从复制

    主从复制要求 MySQL 主从复制对主机和 MySQL 的要求 (1)主从服务器操作系统版本和位数必须一致; (2)主节点(Master)和从节点(Slave)数据库版本必须一致; (3)主节点(Master...slave_skip_errors = 1062 ## 跳过主从复制中遇到的所有错误或指定类型的错误,避免 slave 端复制中断。...validate_password_policy=0; GRANT REPLICATION SLAVE ON *.* TO 'sync'@'%' IDENTIFIED BY 'psvmc123456'; FLUSH PRIVILEGES; 锁表...就表示主从同步正常: Slave_IO_Running: Yes Slave_SQL_Running: Yes 主节点-解锁表 开启同步后解锁主节点数据库表 unlock tables; 重置主从复制...如果遇到同步出错,可在 Slave 上重置主从复制设置,步骤如下: 重置主从复制设置 stop slave; reset slave; 重新设置主从复制参数 change master to master_host

    1.9K50

    MySQL主从复制

    配置MySQL主从复制,先来讲讲一些理论。 MySQL复制功能提供分担读负载。 基于二进制日志的复制是异步的,那么复制有什么好处?...说到日志,MySQL的服务层日志有二进制日志,慢查询日志,通用日志。而存储引擎的日志有innodb的重做日志(Redo log),回滚日志(Undo log)。...Undo Log:未提交的事务,独立于表空间,需要随机访问,可以存储在高性能IO设备中。 那么二进制日志是什么?...二进制日志记录了所有对MySQL数据库的修改事件,包括了增删查改事件和对表结构进行修改的事件。 二进制日志格式,可以设置基于段的格式,比如binlog_format=statement。...环境配置如下: 1.master(192.168.10.21) MySQL 5.7.17 2.slave(192.168.10.6) MySQL 5.7.17 给master创建sync用户并分配所需权限

    1.9K20

    mysql主从复制

    mysql主从复制 mysql主从复制 主从复制的形式 一主一从 主主复制 一主多从—扩展系统读取的性能,因为读是在从库读取的 多主一从—5.7开始支持 联级复制— 用途和条件 用途 实时灾备,用于故障切换...读写分离,提供查询服务 备份,避免影响业务 必要条件 主库开启binlog日志(设置log-bin参数) 主从server-id不同 从库服务器能连通主库 主从复制的原理 主要涉及三个线程:binlog...主从复制集群 创建主从配置文件 由于我这里使用docker搭建,所以需要把配置文件和数据文件映射到宿主机,让容器运行时挂载数据 所以在本地合适的地方创建目录,并添加配置文件 ├── master │  .../docker/data/cluster/mysql/master/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.6 --character-set-server.../mysql/slave/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.6 --character-set-server=utf8mb4

    1.6K10
    领券