- 综合排序
- 最热优先
- 最新优先
- 来自专栏涤生的博客
异地多活场景下的数据同步之道
在当今互联网行业，大多数人互联网从业者对"单元化"、"异地多活"这些词汇已经耳熟能详。 而数据同步是异地多活的基础，所有具备数据存储能力的组件如：数据库、缓存、MQ等，数据都可以进行同步，形成一个庞大而复杂的数据同步拓扑。 本文将先从概念上介绍单元化、异地多活、就近访问等基本概念。 小结：如果仅仅是考虑不同地区的用户数据就近写入距离最近的IDC，这是纯粹意义上的”单元化”。不同单元的之间数据实时进行同步，相互备份对方的数据，才能做到真正意义上"异地多活”。 ------------------------------------------+| gtid_executed | 09530823-4f7d-11e9-b569-00163e121964:1-5 是一个范围，表示已经执行过1，2，3，4，5这个几个transaction_id。
4.5K41发布于 2019-05-10 - 来自专栏杨建荣的学习笔记
异地多活场景下的数据同步之道
作者：田守枝 来源：田守枝的技术博客订阅号（ID：tianshouzhi_blog） 在当今互联网行业，大多数人互联网从业者对"单元化"、"异地多活"这些词汇已经耳熟能详。 而数据同步是异地多活的基础，所有具备数据存储能力的组件如：数据库、缓存、MQ等，数据都可以进行同步，形成一个庞大而复杂的数据同步拓扑。 本文将先从概念上介绍单元化、异地多活、就近访问等基本概念。 3、小结 如果仅仅是考虑不同地区的用户数据就近写入距离最近的IDC，这是纯粹意义上的”单元化”。 不同单元的之间数据实时进行同步，相互备份对方的数据，才能做到真正意义上"异地多活”。 5、对于DDL语句如何处理 如果数据库表中已经有大量数据，例如千万级别、或者上亿，这个时候对于这个表的DDL变更，将会变得非常慢，可能会需要几分钟甚至更长时间，而DDL操作是会锁表的，这必然会对业务造成极大的影响 上述value部分，冒号":"前面的是server_uuid，冒号后面的1-5，是一个范围，表示已经执行过1，2，3，4，5这个几个transaction_id。
2.8K31发布于 2019-09-25 利用YashanDB实现企业数据实时同步与异地备份
本文将深入解析YashanDB在实现企业数据实时同步及异地备份中的核心技术，帮助数据库管理员和技术研发人员理解和应用该技术体系。 同步复制模式确保主库事务提交时redo日志已同步到备库，备库数据与主库实时保持一致，适用于对数据零丢失有严格需求的业务场景。 YashanDB支持多备库及多层级联备复制，借助级联备库实现异地数据备份，降低主库带宽压力，提高远程容灾能力。备库通过日志回放线程（RCY_REPL）并行恢复redo日志，快速同步主库数据。 完善的备份恢复体系实现多级异地备份面对突发故障或数据破坏，YashanDB提供物理全量备份、增量备份及归档备份策略保障数据安全。备份集支持加密存储，提升数据安全等级。 YashanDB通过灵活的部署架构、完善的主备复制机制及高效的备份恢复体系，为企业构建坚实的数据同步与异地备份解决方案。
34510编辑于 2025-09-11YashanDB数据库数据同步与异地容灾解决方案
在现代企业中，数据库技术面临着日益严峻的挑战，如数据一致性问题、性能瓶颈和灾难恢复能力不足等。数据同步以及异地容灾是确保数据可用性和连续性的重要手段。 YashanDB作为一款高可用的数据库系统，采用多种部署架构和存储管理优化策略，为数据同步与异地容灾提供了全面的解决方案。 本文旨在解析YashanDB在数据同步与异地容灾方面的技术原理、优势和最佳实践，帮助企业更好地理解并应用这些技术。1. 技术建议与最佳实践对于企业使用YashanDB处理数据同步与异地容灾，以下技术建议和最佳实践值得考虑：选择合适的部署架构，确保根据业务需求综合考虑高可用性和成本效益。 通过定期监控和更新统计信息，确保优化器能够生成最佳执行计划，提高数据库性能。结论YashanDB通过高效的同步手段和异地容灾策略，为企业提供了强有力的数据保护和服务可用性保障。
24100编辑于 2025-07-07- 来自专栏web推送技术
sync-player：使用websocket实现异地同步播放视频
本文作者：星空无限 原文链接：https://liyangzone.com/2020/09/20/%E5%89%8D%E7%AB%AF/sync-player/ GoEasy已获作者授权转载，GoEasy 功能介绍&特性： 一个可以同步看视频的播放器，可用于异地同步观影、观剧，支持多人同时观看。 本项目有两个版本，web版运行在浏览器上，可跨平台，不限操作系统、设备，功能简单适用于要求不高的用户。 [image] 使用场景3： 需要使用zerotier或其他VPN工具将异地设备组成一个大局域网，其中任意一台PC均可作为websocket服务端和http服务端(需要上传带宽足够大)。 经过一番研究之后，我找到了控制视频播放、暂停、快进的代码位置，并将控制同步的代码移植了进去，从而也实现了同步功能，并且与web版兼容。 GoEasy已经稳定运行了5年，支持千万级并发，成功支撑过很多知名企业的重要活动，安全性和可靠性都是久经考验。
3.7K71发布于 2020-10-20 - 来自专栏kali blog
手把手教你异地两设备 文件实时同步
笔者有两台设备分别在异地。如何实现两台设备文件的实时同步呢？ 在生活工作我们需要将两台设备中的文件进行同步。如果在同一房间我们可以拿个U盘进行复制。如果是异地的两台设备该如何同步文件呢？ 关于 Syncthing是一款开源免费跨平台的文件同步工具，是基于P2P技术实现设备间的文件同步。针对隐私问题，Syncthing软件只会将数据存储于个人信任的设备上，不会存储到服务器上。 设备之间的通信均通过TLS进行，Syncthing还使用了完全正向保密技术来进一步保障你的数据安全。 异地组网 因为是两台异地设备，因此我们需要对设备进行异地组网。 添加完成后，稍等片刻后，会在异地主机B上弹窗连接确认。 点击添加设备后，完成连接。 添加实时同步文件夹 添加一个文件夹（A或B都可以）。 配置文件共享 配置完成后，会在异地主机B上面提示共享信息。 测试 我们在远程主机B新建一个文件后，在本地主机A会自动同步。 主机B的文件 主机A的文件 总结 通过Syncthing这款工具，我们能很方便的实现多台设备直接的数据增删改同步操作。
2.1K10编辑于 2025-07-28 - 来自专栏北京马哥教育
git用网盘做版本仓库，实现异地同步
git在不用github这种远程仓库时，如何实现异地同步呢？ 下班前提交代码，回家后同步代码继续开发并提交，第二天来公司继续…… 这里做个实验：用网盘的目录同步功能，我们打造一个"伪远程仓库”。 在本地找个目录作为"远程仓库”，假设我们将 e:\kuaipan\phalcon 这个作为远程仓库，那么就将这个目录拖进快盘(U盘)里，然后再快盘客户端里右键该目录，开启同步。 步骤2. 步骤5. 假设到家了，我们打开快盘，将快盘中的目录phalcon同步到本地，相当于把公司的远程库拷贝了一份，假设同步到了 d:/kuaipan/phalcon 然后到工作区 ? & git commit -m "---over---" git push d:/kuaipan/phalcon 我们在家里完成了一些工作，最后同样push到了远程仓库，远程仓库发生了一些变化，会自动同步到快盘里 第二天到公司，重复步骤5类似的操作。
1.8K40发布于 2018-05-02 5分钟快速上手DataMover数据同步平台，MySQL到达梦迁移同步。
找到了一款数据迁移同步工具，免费版可以满足需求。免费版支持17中常用数据源和30张表同步任务的并发调度。 数据库：test_source用户名/密码：数据库的用户名密码点击「测试连接」，确认成功后保存添加目标数据库：重复上述步骤，选择达梦数据库，创建目标数据源（如命名为`target_达梦）2.2配置第一个同步任务创建同步任务 ：点击左侧「任务管理」→「新建任务」基础设置：任务名称：首次同步测试选择数据源：源端选择mysql，目的端选择达梦任务类型：选择「普通任务」映射配置：源端数据：点击「加好」，勾选需要同步的表（如user_info （可选）增量同步设置：如需增量同步，可在同步策略配置中选择「增量」设置增量字段（如update_time或自增ID）配置同步频率（如每分钟同步一次或cron表达式）数据过滤与转换：在「转换函数」中，可设置同步规则例如 ，点击「全部启动」或「启动」监控运行：在任务详情页，可实时查看：同步进度与速度已同步数据量下载同步日志
52210编辑于 2025-12-30- 来自专栏Hadoop数据仓库
Greenplum 实时数据仓库实践（5）——实时数据同步
图5-1更详细地描述了复制的细节。 图5-1 复制如何工作 第一步是在主库上记录二进制日志。每次准备提交事务完成数据更新前，主库将数据更新的事件记录到二进制日志中。 图5-12 用内存阻塞队列解决多线程消费乱序问题 5.5.4 实时CDC 大多数情况下，数据同步被要求在不影响线上业务的情况下联机执行，而且还要求对线上库的影响越小越好。 （5）执行全量数据同步 maxwell提供了一个命令工具 maxwell-bootstrap 帮助我们完成数据初始化，它基于 SELECT * FROM table 的方式进行全量数据读取 REST接口 日志适配器 关系型数据库的表对表数据同步 HBase的表对表数据同步 ElasticSearch多表数据同步 适配器将会自动加载 conf/rdb 下的所有.yml结尾的表映射配置文件 执行全量同步，将需要同步的MySQL表数据导入Greenplum的对应表中。
4.6K30编辑于 2021-12-17 - 来自专栏NFS
Hammerspace如何实现无需复制数据即可在异地使用数据？
Hammerspace之所以能够实现“无需复制数据即可在异地使用数据”，核心在于它的全局元数据控制层（Global Metadata Control Plane）和本地化编排能力。 异地访问的方式 Hammerspace提供 三种方式让异地访问数据而无需复制完整数据： a) 数据就近访问 当一个远端站点请求数据时： 如果网络条件允许，它直接从原始位置进行远程访问（如 NFS-over-WAN b) 元数据重定向 + 后台数据同步 对于某些冷数据： 系统只同步元数据到远端站点。 当该站点首次访问文件时，后台进行数据拉取或缓存。 应用无感知，文件就像“本地存在”。 ，无需手动复制或同步数据。 数据不需要“整份”复制到上海，但访问速度几乎接近本地体验。 总结 Hammerspace 实现异地访问而不复制数据的本质在于：解耦元数据与数据本体，通过智能编排与懒加载实现跨地域的无缝访问体验。
23410编辑于 2025-07-27 - 来自专栏云原生生态圈
MYSQL数据同步之基于GTID事务数据同步
MYSQL基于GTID数据同步方式 同步原理 客户端发送DDL/DML给master上，master首先对此事务生成一个唯一的gtid，假如为uuid_xxx:1，然后立即执行该事务中的操作。 同步实现方式 实现单slave通过gtid数据同步 本文通过Docker以及mysql5.7 镜像进行基于GTID数据复制的同步实践。 0242ac110003:1-10 Executed_Gtid_Set: f0b1184d-f7d2-11ea-a7f5-0242ac110003:1-10 只有slave上具有了这部分基准数据，才能保证和master的数据一致性。 GTID从库数据同步 假如当前master的gtid为A3，已经purge掉的gtid为"1-->A1"，备份到slave上的数据为1-A2部分。
5.7K20发布于 2020-09-21 5分钟搞定：SQL Server到MySQL数据迁移同步
DataMover数据迁移同步平台免费版支持17种主流异构数据源，可以创建30张表并发调度任务，且配置简单，无需编程基础，支持全量、增量、实时CDC同步，满足百分之九十五的日常业务场景。 本文将以SQLServer作为源端，MySQL数据库作为目标端为例，带你5分钟完成跨平台数据同步。 基础设置：任务名称：如SQLServer到MySQL同步源端数据源：选择刚刚创建的SQLServer目标端数据源：选择Mysql任务类型：选择「普通任务」表与字段映射：点击源端表的「加号」，勾选需要同步的表 2.3高级配置（可选）增量同步：可设置基于时间戳或自增字段的增量同步策略。数据过滤：支持条件过滤，如Status=1。字段转换：内置脱敏、格式转换、计算字段等函数。 免费版可用：免费版支持30张表并发同步，满足中小规模迁移需求。本文以SQLServer→MySQL为例，展示了DataMover在异构数据源同步中的便捷性。
47610编辑于 2025-12-31- 来自专栏数据恢复案例
RAID5阵列崩溃重建同步后的数据恢复过程
【raid数据恢复故障描述】 一台HP 服务器，挂接一台raid5磁盘阵列，内接5块1TB硬盘，原先结构为RAID5。 随后服务器故障，管理员在不了解raid信息情况下将现有的4快盘进行了重建raid操作，重建后为4盘raid5阵列并且同步完成。原raid阵列中的全部信息丢失。 timg (1).jpg 【raid数据恢复故障分析】 HP SMART ARRAY在创建一组新的RAID5时，默认会全盘重建所有块校验，也就是说在组成RAID5的任一条带中，总有一个校验块的数据是创建时生成的 经过分析，后生成的4块盘RAID5是按双循环，64K块大小，16次条带换校验的方式组织的，也就是说在4块磁盘成员中，大约每隔3M便会有1M的数据是错误的。 4、修正重组后的镜像文件系统错误(因数据变更很少，帮错误极少)。 5、部分分区导出数据，部分分区在无错的前提下完全镜像到新空间。
6.5K10发布于 2019-09-23 - 来自专栏全栈程序员必看
mysql数据库同步工具_mysql同步工具_mysql数据库同步
QQ1793040 ———————————————————- 关于HKROnline SyncNavigator 注册机价格的问题 HKROnline SyncNavigator 8.4.1 企业版数据同步软件 自2009年第一个版本开发出来以来，经过8年不断地根据客户需求，加强功能，修复bug，现在已经具备强大的数据库同步功能，以前官方syncnavigator授权码的价格是2800元一套，授权码是绑定电脑硬件的 因为这款HKROnline SyncNavigator 软件是目前为止，国内做的最好的数据库同步软件，傻瓜式同步数据库，只需要你设置好来源数据库和目标数据库的账号和密码，一键开启，后台自动同步，断点续传 并且还支持异构数据库，也可以同步部分表或者部分字段，都可以进行更为精准的设置操作。 SyncNavigator 数据酷同步工具 做数据同步时所支持的数据库类型： 支持sqlserver 2000-2014所有版本，全兼容，和MYsql 4.x 、MYsql 5.x 、MYsql 6.x
29.9K20编辑于 2022-09-07 - 来自专栏大数据进阶
flinkx数据同步
本文会描述如下几部分的数据同步 mysql2mysql mysql2hive flinkx的版本1.12-SNAPSHOT 1.拉取代码 git clone https://github.com/DTStack
2.3K30发布于 2021-11-22 - 来自专栏全栈程序员必看
数据同步工具
公司要搞数据平台，首当其冲的是把旧库的数据导入到新库中，原本各种数据库大部分都提供了导入导出的工具，但是数据存储到各个地方，mongdb,hbase,mysql,oracle等各种各样的不同数据库，同步起来头都大了 而且本来就是专门做ETL的，是Pentaho指定的ETL组件，对于数据清洗等处理数据的环节支持更好。但是数据效率一般，而且在生产环境也很少弄台windows机器，适合小项目，数据量比较小的同步。 实时同步 实时同步最灵活的还是用kafka做中间转发，当数据发生变化时，记录变化到kafka，需要同步数据的程序订阅消息即可，需要研发编码支持。 这里说个mysql数据库的同步组件，阿里的canal和otter canal https://github.com/alibaba/canal canal是基于mysql的binlog进行数据同步的中间件 非常适合mysql库之间的同步。 而且通过retl_buff表的监控，也可以实现一些全量数据的同步。 但是otter也有一些不好的地方，比如界面上的参数并不是所有的都有用，文档写的一般，不是很清晰。
3.5K20编辑于 2022-09-13 - 来自专栏数据和云
基于裸数据的异地数据库性能诊断与优化
硬件包括CPU、内存、存储、网络设备等，软件方面包括操作系统版本、操作系统参数、数据库版本、数据库参数、数据库架构、运行的SQL代码等。 3、导出AWR裸数据 $ORACLE_HOME/rdbms/admin/awrextr.sql 4、本地导入创建的表 5、通过数据泵导入AWR裸数据 $ORACLE_HOME/rdbms/admin/ 3、生成这获取这此SQL的SQLAWR数据脚本(取前20) ? 4、生成结果放入命令窗口执行 ? 注：红框为格式化操作 5、生成结果展示如下 ? ? 结合绑定变量和条件看，大范围上，只查询40天以内的数据。 条件列数据分布情况 ? 已知此表中SUBMITDATE保留3年数据，在数据分布平均的情况下，此SQL查询的数据量约为(296815739/3/365)*40/25/2=21.7W，约占整个表的0.07%。
1.2K50发布于 2018-03-08 - 来自专栏idba
数据库的异地多活分析和方案
这种数据库双向同步，应用同时错开写不同的数据（表级并发）。 4. 应用双活，数据库双活，两地应用同时读写相同表不同记录。这种数据库双向同步，应用同时错开写不同的数据（行级并发）。 5. 2的B地应用是本地访问数据库。3，4，5三种情形两地数据库都提供读写服务，对应用而言是本地访问数据库，但到分布式数据库内部，其要读写的数据是否正好在本地就取决于业务和数据库的拆分设计。 首先确定要实现的异地多活目标肯定不是1和2这种。 其次，3，4，5都需要应用做水平拆分。OceanBase的每个分区只有一个Leader副本提供读写，所以只通过分区表做水平拆分的时候只能做到3。 所以MySQL Group replication实现了第5种形态。如果应用层流量拆分做的好的话，规避冲突，可以实现第4种形态。 不过这个方案在数据同步性能上有瓶颈。 XDB解决了数据同步问题、故障切换和数据一致性问题。所以不需要借助数据传输产品。 基于OceanBase的异地多活方案 ? 这个方案在前文里已经详细介绍。
6.5K11发布于 2019-05-07 - 来自专栏Java技术详解
数据同步和数据备份
日常使用的移动手机或者是电脑等其它电子产品都是每天在产生不同的数据。数据安全性的保证需要有很多的计算机程序设计的运行程序进行有效保证。 有限局域网或者是移动互联网，公网与内网有利于数据传输。网络可以使得两个不同端点的电子设备进行互联网连接，服务于现在的信息社会。数据同步是同步客户端软件的数据到服务端节点数据服务器。 计算机编程开发的过程中使用程序在客户端采集相应的需求数据，经过传输后在后端的服务器软件程序中进行处理，会持久化到数据服务器终端。互联网设备的数据服务终端机存储着海量的日常用户数据。 数据备份是在客户端或这是在服务器端进程的数据处理操作，一般的程序设计是不会进行远程传输。数据传输耗时耗力，涉及到安全性的机制也有很多。程序库有本地库和远程仓库。
69500编辑于 2023-06-18 - 来自专栏码农沉思录
最易懂的数据库异地多活方案
今天我们将尝试探讨数据库的异地多活高可用。注意，我们讨论的都是超大数据量（50TB 级别）的数据库。 在单元化的基础上，我们可以实现异地多活。 ? 上海机房的 shard 1 库在写入数据后，会同步到杭州主节点，北京机房的 shard 3 节点在写入数据后，也会同步到杭州主节点，杭州机房的 shard 2 写入数据后，也会同步到上海机房和北京机房。 我们观察到，其中，同步是核心，注意，使用 mysql 自带的同步是不可靠的，通常会自行开发一个稳定的，HA 的高可用复制系统，称之为 DRC，即数据复制中心，主要处理多城市或多机房的数据复制。 总结 本文简单的讨论了数据库的异地多活的方案，我们认为，在单元化的方案中，同步是核心，稳定的同步是保证数据一致的关键，而这，在单个机房中，只需要通过简单的 RPC 即可解决，但在跨机房，跨城市的网络中，
2.5K11发布于 2019-03-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号