首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏波波烤鸭

    Redis之主从复制2

    上篇文章给大家介绍了Redis的主从复制,但是并没有介绍完整,本文继续主从复制的介绍 主从复制 上篇文章搭建的主从结构图 ? 本文我们换种结构 ? 复制数据没有问题 哨兵模式 结合上篇文章我们给大家介绍了两种主从复制的模式,但是我们发现不论是哪种模式,一旦master宕机了,那么整合服务就不可以使用了,此时我们希望系统能在还运行的slave中从新选举新的节点作为 主从复制环境 我们还是一主两从,按照上篇文章的结构来实现。 ? 哨兵模式配置 修改和redis.conf同级目录下的sentinel.conf文件 ? ? 注意在主从复制中所有的写入操作都是在master实例上进行的,然后再将信息同步到slave上,这就存在一定的信息延迟,在系统非常繁忙的时候延迟会更加的严重,增加slave也会存在这个问题,因此在实际开发中我们需要通过集群

    48120发布于 2019-04-02
  • 来自专栏侯哥的Python分享

    MySQL运维2-主从复制

    一、主从复制概念   主从复制是指将主数据库的DDL和DML操作通过二进制日志传到从服务器中,然后在从服务器上对这些日志重新执行也叫重做,从而使得从数据库和主库的数据保持同步。    忽略的数据,指不需要同步的数据库,和下面的一条配置默认如果不配置的话,即复制所有数据库 #binlog-ignore-db=mysql #指定同步的数据库 #binlog-do-db=db01     2、 1 row in set (0.00 sec)   4.3 从服务器配置     1、从服务器上在MySQL的配置文件中增加下面的配置 #MySQL服务ID,保证整个集群中唯一 server-id=2 #是否只读 1代表只读 0代表读写 read-only=1     2、配置好了之后,要重启MySQL服务。        说明1:主从原始的都是只有四张系统表   说明2:主服务器上创建了一个数据库db01,在从服务器上查询,就马上显示了刚创建的db01   说明3:在主服务器上创建了一张表,马上就主从复制到了从服务器上

    40440编辑于 2023-09-28
  • 来自专栏全栈程序员必看

    redis主从复制_kafka主从复制

    文章目录 ⭐️1 主从复制 ⭐️1.1 主从复制简介 1.1.1多台服务器连接方案 ⭐️1.2 主从复制 ⭐️1.2.1主从复制的作用 ⭐️1.3 主从复制工作流程 ⭐️1.3.1 建立连接阶段步骤 ⭐️ ---- ⭐️1 主从复制 ⭐️1.1 主从复制简介 了解主从复制之前,你的redis是否高可用? ⭐️1.2 主从复制 主从复制即:将master中的数据及时,有效的复制到slave中 特征:一个master可以拥有多个slave,一个slave只对应一个master 职责: master ,构建哨兵模式与集群,实现Redis的高可用方案 ⭐️1.3 主从复制工作流程 主从复制过程大体可以分为3个阶段 1.建立连接阶段(即准备阶段) 2.数据同步阶段 3.命令传播阶段 <runid> <offset>指令,此时slave并不知道master的 runid与offset,故发送的指令形式为psync2 ?

    49510编辑于 2022-09-22
  • 来自专栏全栈程序员必看

    数据库主从复制_sqlserver主从复制

    一、什么是主从复制? 主从复制,是用来建立一个和主数据库完全一样的数据库环境,称为从数据库;主数据库一般是准实时的业务数据库。 二、主从复制的作用(好处,或者说为什么要做主从)重点! 2、读写分离,使数据库能支撑更大的并发。主从只负责各自的写和读,极大程度的缓解X锁和S锁争用。在报表中尤其重要。由于部分报表sql语句非常的慢,导致锁表,影响前台服务。 三、主从复制的原理(重中之重): 1.数据库有个bin-log二进制文件,记录了所有sql语句。 2.我们的目标就是把主数据库的bin-log文件的sql语句复制过来。 在从库里,当复制开始的时候,从库就会创建两个线程进行处理: **2.从库I/O线程:**当START SLAVE语句在从库开始执行之后,从库创建一个I/O线程,该线程连接到主库并请求主库发送binlog 可以知道,对于每一个主从复制的连接,都有三个线程。拥有多个从库的主库为每一个连接到主库的从库创建一个binlog输出线程,每一个从库都有它自己的I/O线程和SQL线程。

    1.4K20编辑于 2022-09-22
  • 来自专栏芋道源码1024

    Redis 主从复制以及主从复制原理

    来源:http://t.cn/Efr5fc0 概述 面临问题 解决办法 主从复制 什么是主从复制 主从复制的作用 主从复制启用 主从复制原理 ---- ? 主从复制 什么是主从复制 ? 图片描述 主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。 主从复制的作用 数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。 故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。 通过 info replication 命令可以看到复制的一些信息 主从复制原理 主从复制过程大体可以分为3个阶段:连接建立阶段(即准备阶段)、数据同步阶段、命令传播阶段。 图片描述 2)从节点(slave)内部通过每秒运行的定时任务维护复制相关逻辑,当定时任务发现存在新的主节点后,会尝试与该节点建立网络连接 ?

    79130发布于 2019-06-05
  • 来自专栏开源部署

    基于Docker Compose搭建MySQL主从复制(1主2从)

    2、一些目录可能需要执行的权限,建议chmod +x 你的目录及其文件。我操作的时候,3个虚拟机上面的文件目录都是一样的,为了方便。 init_connect=‘SET NAMES utf8mb4‘ #是否对sql语句大小写敏感,1表示不敏感 lower_case_table_names = 1 ##################主从复制设置 192.168.100.100为2个从的IP,替换下,还有就是 主的server-id=1,从的设置为2、3就好了。 偷懒:) 说了一大堆,下面才是重点 [由于我本地验证成功过了,所以下面就没有截图了,直接贴脚本] 1、设置mysql主从复制 (1) 配置master 进入msater的mysql容器,输入命令 docker /bin/bash  #mysql表示我刚才docker-compose里面设置的容器名称 登录mysql 控制台,帐号root 密码123456 mysql -uroot -p123456 创建用于主从复制的用户

    1.2K20编辑于 2022-08-17
  • 来自专栏全栈程序员必看

    mysql主从复制周期_Mysql主从复制

    Mysql主从复制 背景: Mysql可以实现主从复制,在学习了Mysql主从复制后,将一些如何主从复制过程记录下来,供以后复习使用。 命令:ntpdate ip (ntpdate命令需要先安装ntpdate) 2、版本一致 做主从的Mysql服务需要版本一致,或者从服务器的版本高于主服务器。 上base源里已经换成了mariadb,不过我们使用方式和Mysql是差不多的) 步骤2、配置主服务器 1)编辑主服务器配置文件/etc/my.cnf PS:注意日志文件的权限问题,修改bin_log 的所有者和所属组为mysql;命令:chown mysql.mysql /app/bin_log 2)启动服务并添加主从复制需要的帐号 CentOS6:service mysqld start CentOS7 步骤4、测试 1)在主数据库服务器创建一个数据库 2)在从mysql从服务器查看是否生成创建的数据库 到此mysql的主从复制已完成。

    5.3K10编辑于 2022-09-22
  • 来自专栏用户1337634的专栏

    MySQL主从复制

    主从是MySQL最基本的数据冗余与高可用方案,本文重点介绍一下如何搭建,以及如何只同步部分库或表 搭建主从复制 配置Master 配置my.cnf 修改mysql配置文件,不同的系统my.cnf路径不同 最好有含义(关键就是这里了) log-bin=mysql-bin ## 为每个session 分配的内存,在事务过程中用来存储二进制日志的缓存 binlog_cache_size=1M ## 主从复制的格式 expire_logs_days=7 ## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。 expire_logs_days=7 ## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。 可以,不过从库也需要开启二进制日志,如 ## 开启二进制日志功能,以备Slave作为其它Slave的Master时使用 log-bin=mysql-slave1-bin 参考 MySQL 主从复制搭建

    2.2K21发布于 2019-03-27
  • 来自专栏服务端技术杂谈

    MySql主从复制

    DRC中间件 很多DRC中间件,也就是跨数据中心或跨机房数据同步服务,多采用主从复制方式实现的。 主从延迟 通过主从复制原理,我们知道了Master和Slave之间一定时间内会存在数据不一致情况,也就是主从延迟。 主库A执行完一个事务,写入binlog,记录时刻T1 传递给从库B,从库接受这个binlog记录时刻T2 从库执行完这个事务,记录时刻T3 主从延迟就是同一个事务,从库执行完成的时间和主库执行完成的时间差 同一个事务不能被拆分,须分配到同一个work 如:同一个事务更新表1和表2的各一行,分配到两个work,最终执行结果一致,但如果在表1执行完成的瞬间,来一个查询请求,则就会看到事务执行到一半的结果,破坏了事务的隔离性 这种模式下,大事务的劣势尤为明显,比如TRA2是个大事务,在从库执行时,其他两个事务均已完成,但TRA2未完成,那么需等待他完全执行完,下一组才能执行,导致这段时间内只有一个work线程运行,造成资源浪费

    2.7K30发布于 2020-07-14
  • 来自专栏Java架构师必看

    mysql主从复制

    实验环境: 准备两台虚拟机,关闭防火墙 主master 修改配置文件 重启mysql 从slave 修改配置文件 重启mysql 登录主master授权

    1.3K40发布于 2021-06-02
  • 来自专栏Kubernetes 与 Devops 干货分享

    Mysql主从复制

    一、mysql主从同步原理 Mysql主从复制也可以称为Mysql主从同步,它是构建数据库高可用集群架构的基础。 Mysql支持单向,双向,链式级联,异步复制,复制过程中一台服务器充当主库(master),而一个或者多个服务器充当从库(slave) 1.1、主从复制功能 主从复制原理:master服务器上工作线程I 192.168.5.%'; flush privileges; # 导出主库数据 mysqldump --single-transaction -uroot -proot123 --master-data=2 " # 备份文件传递到从服务器上 scp all.sql root@slave:/root/ 2.3、修改从库的配置文件 server_id = 2 -events --triggers --routines -A > all.sql 3.3、修改mysql从服务器配置 server_id = 2

    1.8K21编辑于 2022-10-31
  • 来自专栏JavaEE

    MySQL主从复制

    server-id:新增这个配置,这是主机的唯一id标识,一般主机的是1,从机的是2; log-bin:必须启用二进制日志文件,log-bin=自己mysql路径/mysqlbin 其他的都是可选配置, 2. 修改从机配置: 从机主要也是修改上面说的那两个配置,我从机配置文件如下: [mysqld] #必须 server-id=2 log-bin=/var/lib/mysql/mysqlbin log-err

    1.5K11发布于 2021-06-21
  • 来自专栏开源部署

    Redis主从复制过程和实现主从复制

    一.Redis主从复制同步实现的过程 1.从服务发送一个sync同步命令给主服务要求全量同步 2.主服务接收到从服务的sync同步命令时,会fork一个子进程后台执行bgsave命令(非阻塞)快照保存, /app/redis/run/redis_6379.pid  #进程的pid保存路径 logfile "/app/redis/log/redis_6379.log"  #日志文件保存路径 save 2     #保存快照的文件名 dir /app/redis/data/            #保存快照的路径    requirepass 123456    #设置redis登录的连接密码 … 2. role:master connected_slaves:0 master_replid:177a7792d02eb8e89c07b5441825a0f50d8ae8b8 master_replid2: 6379  #添加属于某台主机的从 服务 ….. masterauth 123456  #从服务连接主服的密码 …… slave-read-only yes  #从服务只读,不可在命令行写入数据 …… 2.

    50120编辑于 2022-08-18
  • 来自专栏分布式|微服务|性能优化|并发编程|源码分析

    彻底搞懂MySQL主从复制工作原理 2+3+3+4

    B站搜索“乐哥聊编程“有本篇文章配套视频‍ https://www.bilibili.com/video/BV1v841187jy 什么是主从复制 从mysql3.23版本开始,mysql官方就开始提供主从复制 ,最简单的主从复制架构就是有两个mysql节点,一个作为主节点,用户可以进行读写,另外一台作为从节点,从节点只接受主节点同步过来的数据,相当于是数据的备份 主从复制解决了哪些问题 读写分离 数据备份 高可用 架构扩展 有哪几种主从形式 一主多从(一从) 读写分离 HA 多主一从 报表统计 双主复制 互相备份 读写负载均衡 主从级联复制 缓解主节点IO压力 主从复制的工作原理 重要的三个线程 Log relay log 用来保存从节点I/O线程接受的bin log日志,作为中继日志存在 工作过程 从节点执行 start salve,开启主从复制,从节点I/O线程与主节点建立连接,请求同步数据 主节点接受从节点的数据同步请求 log后面,并保存bin log的位置,以便下次从这个位置开始获取后续的内容 SQL线程 监测到relay log 内容有变化,会将relay追加的内容解析成sql,然后依次执行sql,实现数据同步 主从复制的工作模式

    87220编辑于 2022-12-22
  • 来自专栏Java学习录

    Redis主从复制

    ◆ 简单介绍 ◆ Redis的主从复制可以把数据复制多个副本部署到其他机器,从而避免了系统中的单点问题以及满足故障恢复和负载均衡等需求。 在Redis的主从复制架构中,存在两种节点,主节点和从节点。 一个主节点可以有多个从节点 一个从节点只能有一个主节点 主从复制是主节点的数据会异步同步到所有的从节点上 ◆ 如何使用主从复制 ◆ Redis默认部署是以主节点的形式部署的,我们只需要关心从节点如何部署即可 root@syj ~]# redis-cli -h 127.0.0.1 -p 6379 info replication# Replicationrole:masterconnected_slaves:2slave0 6380,state=online,offset=24896,lag=1master_replid:35ee68f397c08911164059e3b9c604a514b7ea6dmaster_replid2: 100slave_read_only:1connected_slaves:0master_replid:35ee68f397c08911164059e3b9c604a514b7ea6dmaster_replid2:

    72230发布于 2019-05-06
  • 来自专栏小手冰凉

    redis 主从复制

    配置redis主从复制 在redis的主从复制中,和其他服务一样,都有master和slave两个角色,默认每个redis节点都是主节点,每个从节点也只能有一个主节点,而主节点可以配置多个从节点。 2) "test1" #现在启动一个6380端口的redis,指定端口6379的redis为master [root@redis local]# redis-server /usr/local/redis2 "test2" # 6379端口实例新增一个键 192.168.171.151:6379> set test3 cc OK # 6380端口自动同步,说明主从复制无误 127.0.0.1:6380> 127.0.0.1:6380> slaveof no one # 只需在slave节点执行此命令,即可断开主从复制 当断开了主从复制关系,slave节点上发生了什么? 主从复制过程的原理 主从复制过程如下: ?

    1.5K20发布于 2020-07-27
  • 来自专栏灰子学技术

    Redis:主从复制

    Redis主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(master),后者称为从节点(slave);数据的复制是单向的,只能由主节点到从节点。 一、概述 主从的作用如下所示: 1.数据的热备份 2.故障恢复:在主服务器挂掉的时候,从服务器可以顶替过来 3.负载均衡:读写分离,写数据可以主服务器来做,读操作从服务器来操作 备注:主从复制还是哨兵和集群能够实施的基础 ,因此说主从复制是Redis高可用的基础。 二、全量复制 全量复制发生在下面两个情形下: 1.从节点判断无法进行部分复制,向主节点发送全量复制的请求; 2.从节点发送部分复制的请求,但主节点判断无法进行部分复制; ? 2.复制积压缓冲区 复制积压缓冲区是由主节点维护的、固定长度的、先进先出(FIFO)队列,默认大小1MB;当主节点开始有从节点时创建,其作用是备份主节点最近发送给从节点的数据。

    66342发布于 2020-10-10
  • 来自专栏Owen's World

    Mysql主从复制

    工作原理图: 主从复制的原理: 分为同步复制和异步复制,实际复制架构中大部分为异步复制。 复制的基本过程如下: 1).Slave上面的IO进程连接上Master,并请求从指定日志文件的指定位置(或者从最开始的日志)之后的日志内容; 2).Master接收到来自Slave的IO进程的请求后,通过负责复制的 环境描述 操作系统:CentOS6.3_x64 主服务器master:192.168.0.202 从服务器slave:192.168.0.203 一、mysql主从复制 1、主从安装mysql,版本一致 我们装的是mysql-5.5.30.tar.gz这里省略...请参考going.blog.51cto.com/7876557/129… 2、修改master,slave服务器 master服务器配置:

    1.5K20编辑于 2021-12-08
  • 来自专栏码猿技术专栏

    Redis主从复制

    Redis主从复制 1.1. 作用 1.2. 搭建前的准备 1.3. 主从节点关系 1.4. 查看复制信息 info replication 1.5. 建立复制 1.5.1. 树状主从结构 Redis主从复制 本章介绍Redis的一个强大功能–主从复制。一台master主机可以拥有多台slave从机。而一台slave从机又可以拥有多个slave从机。 作用 主从复制,读写分离,容灾恢复。一台主机负责写入数据,多台从机负责备份数据。在高并发的场景下,即便是主机挂了,可以用从机代替主机继续工作,避免单点故障导致系统性能问题。 master_repl_offset:37617 # 自身复制偏移量 repl_backlog_active:0 repl_backlog_size:1048576 repl_backlog_first_byte_offset:2 master_repl_offset:0 repl_backlog_active:0 repl_backlog_size:1048576 repl_backlog_first_byte_offset:2

    58310发布于 2019-12-31
  • 来自专栏互联网-小阿宇

    mysql主从复制

    实验环境: 准备两台虚拟机,关闭防火墙 主master 修改配置文件 重启mysql 从slave 修改配置文件 重启mysql 登录主master授权 登录从slave接收授权 验证 主上创建库hanyu 去从看一下

    1.2K20编辑于 2022-11-21
领券