- 综合排序
- 最热优先
- 最新优先
- 来自专栏涤生的博客
异地多活场景下的数据同步之道
在当今互联网行业，大多数人互联网从业者对"单元化"、"异地多活"这些词汇已经耳熟能详。 而数据同步是异地多活的基础，所有具备数据存储能力的组件如：数据库、缓存、MQ等，数据都可以进行同步，形成一个庞大而复杂的数据同步拓扑。 本文将先从概念上介绍单元化、异地多活、就近访问等基本概念。 小结：如果仅仅是考虑不同地区的用户数据就近写入距离最近的IDC，这是纯粹意义上的”单元化”。不同单元的之间数据实时进行同步，相互备份对方的数据，才能做到真正意义上"异地多活”。 也就是说，往目标库，同步数据时，变成了2条SQL： SET GTID_NEXT= '09530823-4f7d-11e9-b569-00163e121964:1’insert into users(name 再往源库同步时，我们按照相同的方式，先设置GTID，在执行解析binlog后得到的SQL，还是上面的内容 SET GTID_NEXT= '09530823-4f7d-11e9-b569-00163e121964
4.5K41发布于 2019-05-10 - 来自专栏杨建荣的学习笔记
异地多活场景下的数据同步之道
而数据同步是异地多活的基础，所有具备数据存储能力的组件如：数据库、缓存、MQ等，数据都可以进行同步，形成一个庞大而复杂的数据同步拓扑。 本文将先从概念上介绍单元化、异地多活、就近访问等基本概念。 3、小结 如果仅仅是考虑不同地区的用户数据就近写入距离最近的IDC，这是纯粹意义上的”单元化”。 不同单元的之间数据实时进行同步，相互备份对方的数据，才能做到真正意义上"异地多活”。 7、数据同步架构设计 现在，让我们先把思路先从解决数据同步的具体细节问题转回来，从更高的层面讲解数据同步的架构应该如何设计。稍后的内容中，我们将讲解各种避免数据回环的各种解决方案。 也就是说，往目标库，同步数据时，变成了2条SQL： SET GTID_NEXT= '09530823-4f7d-11e9-b569-00163e121964:1’ insert into users(name 再往源库同步时，我们按照相同的方式，先设置GTID，在执行解析binlog后得到的SQL，还是上面的内容 SET GTID_NEXT= '09530823-4f7d-11e9-b569-00163e121964
2.8K31发布于 2019-09-25 利用YashanDB实现企业数据实时同步与异地备份
本文将深入解析YashanDB在实现企业数据实时同步及异地备份中的核心技术，帮助数据库管理员和技术研发人员理解和应用该技术体系。 同步复制模式确保主库事务提交时redo日志已同步到备库，备库数据与主库实时保持一致，适用于对数据零丢失有严格需求的业务场景。 YashanDB支持多备库及多层级联备复制，借助级联备库实现异地数据备份，降低主库带宽压力，提高远程容灾能力。备库通过日志回放线程（RCY_REPL）并行恢复redo日志，快速同步主库数据。 完善的备份恢复体系实现多级异地备份面对突发故障或数据破坏，YashanDB提供物理全量备份、增量备份及归档备份策略保障数据安全。备份集支持加密存储，提升数据安全等级。 YashanDB通过灵活的部署架构、完善的主备复制机制及高效的备份恢复体系，为企业构建坚实的数据同步与异地备份解决方案。
34510编辑于 2025-09-11YashanDB数据库数据同步与异地容灾解决方案
在现代企业中，数据库技术面临着日益严峻的挑战，如数据一致性问题、性能瓶颈和灾难恢复能力不足等。数据同步以及异地容灾是确保数据可用性和连续性的重要手段。 YashanDB作为一款高可用的数据库系统，采用多种部署架构和存储管理优化策略，为数据同步与异地容灾提供了全面的解决方案。 本文旨在解析YashanDB在数据同步与异地容灾方面的技术原理、优势和最佳实践，帮助企业更好地理解并应用这些技术。1. 技术建议与最佳实践对于企业使用YashanDB处理数据同步与异地容灾，以下技术建议和最佳实践值得考虑：选择合适的部署架构，确保根据业务需求综合考虑高可用性和成本效益。 通过定期监控和更新统计信息，确保优化器能够生成最佳执行计划，提高数据库性能。结论YashanDB通过高效的同步手段和异地容灾策略，为企业提供了强有力的数据保护和服务可用性保障。
24100编辑于 2025-07-07- 来自专栏web推送技术
sync-player：使用websocket实现异地同步播放视频
本文作者：星空无限 原文链接：https://liyangzone.com/2020/09/20/%E5%89%8D%E7%AB%AF/sync-player/ GoEasy已获作者授权转载，GoEasy 前段时间我有这样一个需求，想和一个异地的人一起看电影，先后在网上找了一些方案，不过那几个案都有一些缺点 coplay: 一个浏览器插件，只能播放各大视频网站的视频，视频资源有限，我想要看的视频没有，比如一些经典电影和美剧之类 功能介绍&特性： 一个可以同步看视频的播放器，可用于异地同步观影、观剧，支持多人同时观看。 本项目有两个版本，web版运行在浏览器上，可跨平台，不限操作系统、设备，功能简单适用于要求不高的用户。 [image] 使用场景3： 需要使用zerotier或其他VPN工具将异地设备组成一个大局域网，其中任意一台PC均可作为websocket服务端和http服务端(需要上传带宽足够大)。 经过一番研究之后，我找到了控制视频播放、暂停、快进的代码位置，并将控制同步的代码移植了进去，从而也实现了同步功能，并且与web版兼容。
3.7K71发布于 2020-10-20 - 来自专栏kali blog
手把手教你异地两设备 文件实时同步
笔者有两台设备分别在异地。如何实现两台设备文件的实时同步呢？ 在生活工作我们需要将两台设备中的文件进行同步。如果在同一房间我们可以拿个U盘进行复制。如果是异地的两台设备该如何同步文件呢？ 关于 Syncthing是一款开源免费跨平台的文件同步工具，是基于P2P技术实现设备间的文件同步。针对隐私问题，Syncthing软件只会将数据存储于个人信任的设备上，不会存储到服务器上。 设备之间的通信均通过TLS进行，Syncthing还使用了完全正向保密技术来进一步保障你的数据安全。 异地组网 因为是两台异地设备，因此我们需要对设备进行异地组网。 添加完成后，稍等片刻后，会在异地主机B上弹窗连接确认。 点击添加设备后，完成连接。 添加实时同步文件夹 添加一个文件夹（A或B都可以）。 配置文件共享 配置完成后，会在异地主机B上面提示共享信息。 测试 我们在远程主机B新建一个文件后，在本地主机A会自动同步。 主机B的文件 主机A的文件 总结 通过Syncthing这款工具，我们能很方便的实现多台设备直接的数据增删改同步操作。
2.1K10编辑于 2025-07-28 - 来自专栏北京马哥教育
git用网盘做版本仓库，实现异地同步
git在不用github这种远程仓库时，如何实现异地同步呢？ 下班前提交代码，回家后同步代码继续开发并提交，第二天来公司继续…… 这里做个实验：用网盘的目录同步功能，我们打造一个"伪远程仓库”。 在本地找个目录作为"远程仓库”，假设我们将 e:\kuaipan\phalcon 这个作为远程仓库，那么就将这个目录拖进快盘(U盘)里，然后再快盘客户端里右键该目录，开启同步。 步骤2. 假设到家了，我们打开快盘，将快盘中的目录phalcon同步到本地，相当于把公司的远程库拷贝了一份，假设同步到了 d:/kuaipan/phalcon 然后到工作区 ? & git commit -m "---over---" git push d:/kuaipan/phalcon 我们在家里完成了一些工作，最后同样push到了远程仓库，远程仓库发生了一些变化，会自动同步到快盘里
1.8K40发布于 2018-05-02 - 来自专栏运维经验分享
CentOS7+rsync+sersync实现数据实时同步
，并不知道具体是哪个文件或者哪个目录发生了变化，每次都是对整个目录进行同步，当数据量很大时，整个目录同步非常耗时（rsync要对整个目录遍历查找对比文件），因此，效率很低。 （每次发生变化的数据相对整个同步目录数据来说是很小的，rsync在遍历查找比对文件时，速度很快），因此，效率很高。 小结：当同步的目录数据量不大时，建议使用Rsync+Inotify-tools；当数据量很大（几百G甚至1T以上）、文件很多时，建议使用Rsync+sersync。 准备 操作系统 CentOS 7 sersync2.5.4_64bit 源服务器 192.168.0.248 目标服务器 192.168.0.249 把A机器上的一个目录下文件的变化实时同步到B机器上， 服务端资源列表 max connections=200 #允许最大的客户端连接数 timeout=600 #设置超时时间 auth users=rsync #执行数据同步的虚拟用户名
1.8K40发布于 2019-03-11 - 来自专栏桥路_大数据
CentOS7, mysql主从同步数据库配置
前言 最近免费试用了一下云服务器，然后在两台服务器上安装了Mysql并搭建了主从同步数据库。mysql数据库的安装，大家可以去查看我的另一篇博客文章，下面为大家介绍搭建步骤及原理。 原理 mysql主节点即master节点在每次对数据库执行操作后会将操作写入到本地的二进制日志(binary log)中，从节点slave会使用I/O Thread线程去监听和读取主节点的binary log数据，如果有修改，则更新自己的Relay log日志，然后使用SQL thread线程将Relay log中的日志对数据库进行操作。 从而实现了主从同步。 配置过程 1. 重启数据库，使得配置生效： service mysqld restart 2.
2.7K70发布于 2018-05-17 - 来自专栏Devops专栏
7.Lock 同步锁
7.Lock 同步锁 Lock( 锁 ) 从 JDK 5.0开始，Java提供了更强大的线程同步机制——通过显式定义同步锁对象来实现同步。同步锁使用Lock对象充当。 try{ //保证线程安全的代码; } finally{ lock.unlock(); } } } // 注意：如果同步代码有异常
46810编辑于 2022-03-23 - 来自专栏运维经验分享
CentOS7+rsync+sersync实现数据实时同步
，并不知道具体是哪个文件或者哪个目录发生了变化，每次都是对整个目录进行同步，当数据量很大时，整个目录同步非常耗时（rsync要对整个目录遍历查找对比文件），因此，效率很低。 （每次发生变化的数据相对整个同步目录数据来说是很小的，rsync在遍历查找比对文件时，速度很快），因此，效率很高。 小结：当同步的目录数据量不大时，建议使用Rsync+Inotify-tools；当数据量很大（几百G甚至1T以上）、文件很多时，建议使用Rsync+sersync。 准备 操作系统 CentOS 7 sersync2.5.4_64bit 源服务器 192.168.0.248 目标服务器 192.168.0.249 把A机器上的一个目录下文件的变化实时同步到 list=no #不显示rsync服务端资源列表 max connections=200 #允许最大的客户端连接数 timeout=600 #设置超时时间 auth users=rsync #执行数据同步的虚拟用户名
1.6K10发布于 2019-03-11 - 来自专栏EDI电子数据交换知识分享
关于GDSN数据同步的7个重要问题
高质量的产品数据对于任何企业而言都是至关重要的。越来越多的企业希望获得有关产品数据标准的更多信息，例如GDSN数据同步。 什么是GDSN数据同步？ GDSN（全球数据同步网络）是基于Internet的产品数据池。GDSN数据同步使企业可以与交易伙伴交换标准化的产品数据。简而言之，GDSN是交易伙伴用来“标准化”产品数据的方法之一。 GS1标准还涵盖其他技术，例如EDI（电子数据交换），条形码和RFID（射频识别）标签。 谁使用GDSN数据同步？ GDSN数据同步主要应用于零售行业，包括食品、服装和普通商品。 为此，一些采购组织要求供应商使用GDSN认证的数据池。 通常情况下，GDSN数据同步是一种选择，但也可以使用其他共享产品数据的方法代替。 使用GDSN数据同步需要多少费用？ 买卖双方都需要付费，才能通过GDSN认证的数据池访问数据。一些数据池提供商基于公司的总收入定价。其他人则考虑公司的有效SKU数量或数据接收者的数量。
69430发布于 2021-05-21 - 来自专栏瓜农老梁
FA7# 异地多活实践与设计思考点归纳
在网关层转发：转发属于异地机房流量 3.多活管控中心服务 多活部署通过双向同步或者双写方式保证数据的一致性 提供SDK和服务接口供中间件或者服务服务映射规则 提供流量切换的整个闭环流程 三、RPC跨机房调用能力 https://github.com/TraceNature/redissyncer-server 可根据实际场景进行改造，主要功能有： 断点续传 数据同步 数据迁移 数据校验 实现原理： 复制器伪装成从节点复制数据 注意事项： 是否需要redis双向复制提早规划 过滤过短时间key无效复制，比如：小于3秒的不再同步 批量写入提升性能 2.MySql双向同步 数据库的双向同步在异地多活通常是必须要做的事情，下面是阿里开源 https://github.com/alibaba/otter 解决循环复制实现原理： 通过事务表解决数据循环复制 复制数据时同时写入一条数据到事务表在同一个事物中 同步数据时只同步不再事务表中的数据到异地机房 还需要提供其他周边工具： 提供数据校验工具 提供数据订正工具 提供DDL双向同步 提供数据冲突策略 注意事项提点： 统一关系数据库存储 多种数据库PostgreSQL、MySql等的建议统一为一种 相关任务提早同步进行
97020编辑于 2022-01-24 - 来自专栏Lcry个人博客
CentOS7同步系统时间
安装ntp服务 sudo yum install ntp 修改成国内时区并同步 timedatectl set-timezone Asia/Shanghai timedatectl set-ntp yes 查看时间确保同步 timedatectl 验证 date
2.2K40编辑于 2022-11-29 - 来自专栏运维经验分享
CentOS7下Rsync+sersync实现数据实时同步
CentOS7下Rsync+sersync实现数据实时同步 [日期：2017-10-22] 来源：Linux社区 作者：Linux [字体：大 中 小] 前言： ? （每次发生变化的数据相对整个同步目录数据来说是很小的，rsync在遍历查找比对文件时，速度很快），因此，效率很高。 小结：当同步的目录数据量不大时，建议使用Rsync+Inotify-tools；当数据量很大（几百G甚至1T以上）、文件很多时，建议使用Rsync+sersync。 #禁止数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开 :wq! 至此，Linux下Rsync+sersync实现数据实时同步完成。
1.4K20发布于 2019-03-11 - 来自专栏IT不难技术家园
centos7部署rsync服务进行数据同步
前言 rsync的目的是实现本地主机和远程主机上的文件同步。 users = gameh5 secrets file = /etc/rsyncd.secrets gameh5:Z@W8KtBL 启动 systemctl enable --now rsyncd 数据同步
30320编辑于 2022-04-01 - 来自专栏NFS
Hammerspace如何实现无需复制数据即可在异地使用数据？
Hammerspace之所以能够实现“无需复制数据即可在异地使用数据”，核心在于它的全局元数据控制层（Global Metadata Control Plane）和本地化编排能力。 异地访问的方式 Hammerspace提供 三种方式让异地访问数据而无需复制完整数据： a) 数据就近访问 当一个远端站点请求数据时： 如果网络条件允许，它直接从原始位置进行远程访问（如 NFS-over-WAN b) 元数据重定向 + 后台数据同步 对于某些冷数据： 系统只同步元数据到远端站点。 当该站点首次访问文件时，后台进行数据拉取或缓存。 应用无感知，文件就像“本地存在”。 ，无需手动复制或同步数据。 数据不需要“整份”复制到上海，但访问速度几乎接近本地体验。 总结 Hammerspace 实现异地访问而不复制数据的本质在于：解耦元数据与数据本体，通过智能编排与懒加载实现跨地域的无缝访问体验。
23410编辑于 2025-07-27 - 来自专栏全栈程序员必看
并发-7-同步容器和ConcurrentHashMap
同步容器是什么： JDK提供给了很多容器，其中有list,set,queue,map等。 这里我们挑出List单讲。 不安全的同步容器： public class SynchornizedVector { public static void main(String[] agrs){ Vector (i); } } } }.start(); } } 复制代码 工程中大量使用的同步容器 ConcurrentHashMap 众所周知，hashMap是根据散列值分段存储的，同步Map在同步的时候锁住了所有的段（粗粒度的锁） 而ConcurrentHashMap根据散列值锁定了散列值对应的段 ，提高了并发性能（细粒度的锁） 其数据结构如下： 根据图中的数据结构： 每次对key寻找到相应的位置需要两次定位：1.定位到Segment。
37510发布于 2021-06-17 - 来自专栏瓜农老梁
Nacos7# Distro协议增量同步
引言 本文接着撸Distro协议，上文中分析了在Nacos server启动时会进行全量数据同步和数据校验，具体数据即客户端注册节点信息含命名空间、分组名称、服务名称、节点Instance信息等。 什么时候会触发增量同步？增量同步都干了些啥，下文接着撸撸增量数据同步。 一、内容提要 增量数据同步 在Nacos节点启动时通过事件驱动模式订阅了ClientChangedEvent、ClientDisconnectEvent和ClientVerifyFailedEvent事件 如果缓存中存在该client表示校验成功，同时更新保鲜时间；否则校验失败，回调返回失败Response，请求节点收到失败的Response后会发布ClientVerifyFailedEvent事件 二、增量数据同步 syncChangeTask); return true; default: return false; } } 向指定的集群节点同步更新数据
1.4K31发布于 2021-07-14 - 来自专栏mingmingcome’s cnblogs
CentOS 7时间同步（NTP）
begin 2020年7月5日10:55:03 NTP简介（What） 网络时间协议（英语：Network Time Protocol，缩写：NTP）是在数据网络潜伏时间可变的计算机系统之间通过分组交换进行时钟同步的一个网络协议 明明说：时间同步协议 NTP的作用（Why） NTP的作用是为了所有参与计算机的协调世界时（UTC）时间同步到几毫秒的误差内。 类似地，现在所有的计算机、手机都会跟时钟服务器同步，给我们提供更准确的时间。 手工发起同步： ntpdate ntp1.aliyun.com date查看时间是否已经同步 启动NTP服务： service ntpd start 设置开机启动： chkconfig ntpd on end 2020年7月5日11:33:50
5K20发布于 2021-11-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号