- 综合排序
- 最热优先
- 最新优先
- 来自专栏涤生的博客
异地多活场景下的数据同步之道
在当今互联网行业，大多数人互联网从业者对"单元化"、"异地多活"这些词汇已经耳熟能详。 而数据同步是异地多活的基础，所有具备数据存储能力的组件如：数据库、缓存、MQ等，数据都可以进行同步，形成一个庞大而复杂的数据同步拓扑。 本文将先从概念上介绍单元化、异地多活、就近访问等基本概念。 小结：如果仅仅是考虑不同地区的用户数据就近写入距离最近的IDC，这是纯粹意义上的”单元化”。不同单元的之间数据实时进行同步，相互备份对方的数据，才能做到真正意义上"异地多活”。 也就是说，往目标库，同步数据时，变成了2条SQL： SET GTID_NEXT= '09530823-4f7d-11e9-b569-00163e121964:1’insert into users(name 4 开源组件介绍canal/otter 前面深入讲解了单元化场景下数据同步的基础知识。读者可能比较感兴趣的是，哪些开源组件在这些方面做的比较好。笔者建议的首选，是canal/otter组合。
4.5K41发布于 2019-05-10 - 来自专栏杨建荣的学习笔记
异地多活场景下的数据同步之道
作者：田守枝 来源：田守枝的技术博客订阅号（ID：tianshouzhi_blog） 在当今互联网行业，大多数人互联网从业者对"单元化"、"异地多活"这些词汇已经耳熟能详。 而数据同步是异地多活的基础，所有具备数据存储能力的组件如：数据库、缓存、MQ等，数据都可以进行同步，形成一个庞大而复杂的数据同步拓扑。 本文将先从概念上介绍单元化、异地多活、就近访问等基本概念。 3、小结 如果仅仅是考虑不同地区的用户数据就近写入距离最近的IDC，这是纯粹意义上的”单元化”。 不同单元的之间数据实时进行同步，相互备份对方的数据，才能做到真正意义上"异地多活”。 因此，通常在数据同步时，通常会限制记录必须有要有主键或者唯一索引。 4、如何解决唯一索引冲突 由于两边的库都存在数据插入，如果都使用了同一个唯一索引，那么在同步到对端时，将会产生唯一索引冲突。 也就是说，往目标库，同步数据时，变成了2条SQL： SET GTID_NEXT= '09530823-4f7d-11e9-b569-00163e121964:1’ insert into users(name
2.8K31发布于 2019-09-25 利用YashanDB实现企业数据实时同步与异地备份
本文将深入解析YashanDB在实现企业数据实时同步及异地备份中的核心技术，帮助数据库管理员和技术研发人员理解和应用该技术体系。 同步复制模式确保主库事务提交时redo日志已同步到备库，备库数据与主库实时保持一致，适用于对数据零丢失有严格需求的业务场景。 YashanDB支持多备库及多层级联备复制，借助级联备库实现异地数据备份，降低主库带宽压力，提高远程容灾能力。备库通过日志回放线程（RCY_REPL）并行恢复redo日志，快速同步主库数据。 完善的备份恢复体系实现多级异地备份面对突发故障或数据破坏，YashanDB提供物理全量备份、增量备份及归档备份策略保障数据安全。备份集支持加密存储，提升数据安全等级。 YashanDB通过灵活的部署架构、完善的主备复制机制及高效的备份恢复体系，为企业构建坚实的数据同步与异地备份解决方案。
34510编辑于 2025-09-11YashanDB数据库数据同步与异地容灾解决方案
在现代企业中，数据库技术面临着日益严峻的挑战，如数据一致性问题、性能瓶颈和灾难恢复能力不足等。数据同步以及异地容灾是确保数据可用性和连续性的重要手段。 YashanDB作为一款高可用的数据库系统，采用多种部署架构和存储管理优化策略，为数据同步与异地容灾提供了全面的解决方案。 本文旨在解析YashanDB在数据同步与异地容灾方面的技术原理、优势和最佳实践，帮助企业更好地理解并应用这些技术。1. 这种模式通过配置灵活的副本管理策略，确保在各类故障情况下均可通过异地备份进行数据恢复。4. 通过定期监控和更新统计信息，确保优化器能够生成最佳执行计划，提高数据库性能。结论YashanDB通过高效的同步手段和异地容灾策略，为企业提供了强有力的数据保护和服务可用性保障。
24100编辑于 2025-07-07- 来自专栏web推送技术
sync-player：使用websocket实现异地同步播放视频
功能介绍&特性： 一个可以同步看视频的播放器，可用于异地同步观影、观剧，支持多人同时观看。 本项目有两个版本，web版运行在浏览器上，可跨平台，不限操作系统、设备，功能简单适用于要求不高的用户。 还有基于SPlayer(射手影音)DIY的客户端版本(windows、MAC)，播放4K高清文件、外挂字幕，统统没问题。 [image] 使用场景3： 需要使用zerotier或其他VPN工具将异地设备组成一个大局域网，其中任意一台PC均可作为websocket服务端和http服务端(需要上传带宽足够大)。 然后浏览器打开 192.168.3.58/client/，填入你的视频地址192.168.3.58/movie/xxx.mp4或网络视频地址，对方也这样操作一番，即可实现同步播放视频。 经过一番研究之后，我找到了控制视频播放、暂停、快进的代码位置，并将控制同步的代码移植了进去，从而也实现了同步功能，并且与web版兼容。
3.7K71发布于 2020-10-20 - 来自专栏kali blog
手把手教你异地两设备 文件实时同步
笔者有两台设备分别在异地。如何实现两台设备文件的实时同步呢？ 在生活工作我们需要将两台设备中的文件进行同步。如果在同一房间我们可以拿个U盘进行复制。如果是异地的两台设备该如何同步文件呢？ 关于 Syncthing是一款开源免费跨平台的文件同步工具，是基于P2P技术实现设备间的文件同步。针对隐私问题，Syncthing软件只会将数据存储于个人信任的设备上，不会存储到服务器上。 设备之间的通信均通过TLS进行，Syncthing还使用了完全正向保密技术来进一步保障你的数据安全。 异地组网 因为是两台异地设备，因此我们需要对设备进行异地组网。 添加完成后，稍等片刻后，会在异地主机B上弹窗连接确认。 点击添加设备后，完成连接。 添加实时同步文件夹 添加一个文件夹（A或B都可以）。 配置文件共享 配置完成后，会在异地主机B上面提示共享信息。 测试 我们在远程主机B新建一个文件后，在本地主机A会自动同步。 主机B的文件 主机A的文件 总结 通过Syncthing这款工具，我们能很方便的实现多台设备直接的数据增删改同步操作。
2.1K10编辑于 2025-07-28 - 来自专栏北京马哥教育
git用网盘做版本仓库，实现异地同步
git在不用github这种远程仓库时，如何实现异地同步呢？ 下班前提交代码，回家后同步代码继续开发并提交，第二天来公司继续…… 这里做个实验：用网盘的目录同步功能，我们打造一个"伪远程仓库”。 在本地找个目录作为"远程仓库”，假设我们将 e:\kuaipan\phalcon 这个作为远程仓库，那么就将这个目录拖进快盘(U盘)里，然后再快盘客户端里右键该目录，开启同步。 步骤2. cd e:/workspace git clone e:/kuaipan/phalcon phalcon_local 步骤4. 开发，并提交 ? 假设到家了，我们打开快盘，将快盘中的目录phalcon同步到本地，相当于把公司的远程库拷贝了一份，假设同步到了 d:/kuaipan/phalcon 然后到工作区 ? & git commit -m "---over---" git push d:/kuaipan/phalcon 我们在家里完成了一些工作，最后同样push到了远程仓库，远程仓库发生了一些变化，会自动同步到快盘里
1.8K40发布于 2018-05-02 - 来自专栏技术客栈
MySQL数据同步Elasticsearch的4种方法！
那么问题来了，商品上架，数据一般写入到MySQL的数据库中，那么用于检索的数据又是怎么同步到Elasticsearch的呢？ MySQL同步ES 1、同步双写 这是能想到的最直接的方式，在写入MySQL，直接也同步往ES里写一份数据。 这种方式： 优点：实现比较简单 缺点： 实时性难以保证 对存储压力较大 4、数据订阅 还有一种方式，就是最时兴的数据订阅。 所以使用数据订阅： 优点： 业务入侵较少 实时性较好 除了MySQL同步ES，MySQL同步到其它的数据存储，例如HBase，其实大体上都是类似的几种方法。 参考文献：《MySQL数据同步ES的4种方法！》
1.6K21编辑于 2023-07-20 - 来自专栏宇宙之_一粟
线程同步的4种方式
4. 线程同步的方式✭✭✩✩✩ 想想线程的特点，因为不同线程会共享资源。比如：同一个账户，A线程读，B线程取，这样可能会发生冲突，所以需要同步来避免麻烦。 竞争的方式有两种：代码竞争和数据竞争。 数据竞争指的是两个线程同时访问一个数据。 线程同步是两个或多个共享关键资源的线程的并发执行。同步的作用就是避免关键资源的使用冲突。 同步的方式：（4种） 临界区（Critical section）：通过对多线程的串行化来访问公共资源或一段代码，速度快，适合控制数据访问。
2.3K31发布于 2020-10-26 数据同步最全避坑指南！4大痛点+4大场景技术方案
在数据湖仓一体、流批一体的背景下，数据同步作为数据流动越来越重要的一环。然而，数据同步听起来简单，做起来却处处是坑：业务急着要数据做决策，报表却迟迟出不来？ 这篇文章，我们不讲虚的，直接拆解数据同步的常见难题、技术方案和避坑指南，帮你把数据同步做稳、做快、做好用。 （2）技术实现：全周期一致性方案通过将存量数据校验与增量同步并行处理，缩短数据切换时间，降低业务中断风险。4.资源消耗与扩展不足（1）痛点：流式同步技术在提升实时性的同时，对计算资源的需求大大增加。 误区 4：安全防护的合规性缺失敏感数据同步需满足分类分级要求，山东大数据局明确要求传输加密、脱敏处理与最小权限管控。工具应该内置敏感数据规则，并支持操作日志审计留存，确保符合监管要求。 3.流处理平台：实时化场景方案企业可以根据场景选择单一工具或组合方案：4.新一代统一架构：流批一体与湖仓融合理想的数据同步架构应该整合流批一体引擎（Flink）、湖仓存储层（Iceberg）与智能管控面
59310编辑于 2025-09-22- 来自专栏NFS
Hammerspace如何实现无需复制数据即可在异地使用数据？
Hammerspace之所以能够实现“无需复制数据即可在异地使用数据”，核心在于它的全局元数据控制层（Global Metadata Control Plane）和本地化编排能力。 异地访问的方式 Hammerspace提供 三种方式让异地访问数据而无需复制完整数据： a) 数据就近访问 当一个远端站点请求数据时： 如果网络条件允许，它直接从原始位置进行远程访问（如 NFS-over-WAN b) 元数据重定向 + 后台数据同步 对于某些冷数据： 系统只同步元数据到远端站点。 当该站点首次访问文件时，后台进行数据拉取或缓存。 应用无感知，文件就像“本地存在”。 ，无需手动复制或同步数据。 4.
23410编辑于 2025-07-27 - 来自专栏cosmozhu技术篇
mongodb-4.x复制集数据同步（replica-set-sync）
MongoDB用了两种方式做数据同步：用全量数据初始化节点，用增量数据复写到节点。 初始化数据同步 初始化数据同步是从一个源节点同步全量数据到目标节点。 复写 次要成员节点在初始化数据同步完成后就一直不断的复写数据。次要成员节点从他们同步数据的源节点复制oplog并异步的应用oplog的变更[1]。 可选项，您可以禁用所有预取或仅预取_id字段上的索引，详细设置可以参考secondaryIndexPrefetch参数 相关文章 MongoDB-4.x 关于shard在启动时报错 Got signal mongodb-4.x shard cluster 搭建-复制集节点为单个节点-适合开发环境 MongoDB-4.x 开启shard集群后批量插入性能低的问题 mongodb生产部署手册 mongodb ：实时数据同步（一）
1.2K20发布于 2020-06-15 - 来自专栏云原生生态圈
MYSQL数据同步之基于GTID事务数据同步
MYSQL基于GTID数据同步方式 同步原理 客户端发送DDL/DML给master上，master首先对此事务生成一个唯一的gtid，假如为uuid_xxx:1，然后立即执行该事务中的操作。 同步实现方式 实现单slave通过gtid数据同步 本文通过Docker以及mysql5.7 镜像进行基于GTID数据复制的同步实践。 只有slave上具有了这部分基准数据，才能保证和master的数据一致性。 | mysql-bin.000003 | 2226 | | mysql-bin.000004 | 194 | +------------------+-----------+ 4 GTID从库数据同步 假如当前master的gtid为A3，已经purge掉的gtid为"1-->A1"，备份到slave上的数据为1-A2部分。
5.7K20发布于 2020-09-21 - 来自专栏计算机工具
线程同步互斥的4种方式
事件（Event）：通过线程间触发事件实现同步互斥 4. 信号量（Semaphore）：与临界区和互斥量不同，可以实现多个线程同时访问公共区域数据，原理与操作系统中PV操作类似，先设置一个访问公共区域的线程最大连接数，每有一个线程访问共享区资源数就减一，直到资源数小于等于零
16110编辑于 2024-12-16 - 来自专栏从零学习云计算
openshiftorigin工作记录（4）——Pod时区同步
最近在收集Docker日志等操作的时候，发现openshift的pod时区默认和宿主机不同步，默认使用UTC时间。 解决方案 设置Docker容器环境变量：TZ=Asia/Shanghai。
1K00发布于 2017-12-28 - 来自专栏全栈程序员必看
mysql数据库同步工具_mysql同步工具_mysql数据库同步
QQ1793040 ———————————————————- 关于HKROnline SyncNavigator 注册机价格的问题 HKROnline SyncNavigator 8.4.1 企业版数据同步软件 自2009年第一个版本开发出来以来，经过8年不断地根据客户需求，加强功能，修复bug，现在已经具备强大的数据库同步功能，以前官方syncnavigator授权码的价格是2800元一套，授权码是绑定电脑硬件的 因为这款HKROnline SyncNavigator 软件是目前为止，国内做的最好的数据库同步软件，傻瓜式同步数据库，只需要你设置好来源数据库和目标数据库的账号和密码，一键开启，后台自动同步，断点续传 并且还支持异构数据库，也可以同步部分表或者部分字段，都可以进行更为精准的设置操作。 SyncNavigator 数据酷同步工具 做数据同步时所支持的数据库类型： 支持sqlserver 2000-2014所有版本，全兼容，和MYsql 4.x 、MYsql 5.x 、MYsql 6.x
29.9K20编辑于 2022-09-07 - 来自专栏大数据进阶
flinkx数据同步
本文会描述如下几部分的数据同步 mysql2mysql mysql2hive flinkx的版本1.12-SNAPSHOT 1.拉取代码 git clone https://github.com/DTStack
2.3K30发布于 2021-11-22 - 来自专栏Mac资源随时更新
Beyond Compare 4 文件同步对比工具
Beyond Compare 4是一款强大的文件同步对比工具，可以轻松地将文件从一个文件夹中同步、复制并移动到另一个文件夹中，重命名和删除文件，甚至可以将一个文件夹的时区设置应用于另一个文件夹。 Beyond Compare 4 文件同步对比工具 macBeyond Compare 4 文件同步对比工具 Win 图片功能多平台Beyond Compare在Windows、Linux和OS X上都能使用 同步文件夹Beyond Compare文件夹同步界面可以自动协调数据差异；有效地更新您的电脑，备份您的计算机或管理你的网站；可以使用相同的接口从磁盘、FTP服务器和压缩文件拷内容。 可以使用一个灵活的脚本语言自动执行重复性任务，且可以从命令行调用任何脚本，以使您在最方便的时候安排同步Beyond Compare非常灵活，可以本地或者远程连接虚拟文件系统，并以直观的方式连接到您的数据 数据文件、可执行和二进制文件以及图像文件都有专用的查看器。三种方式合并Beyond Compare的合并浏览器支持将一个文件或文件夹的两个不同版本进行变更合并，生成一个输出。
2.1K20编辑于 2022-08-28 - 来自专栏数据库相关
redis 4 增量同步的日志详解
redis 4 增量同步的日志详解 1、1主 2从 环境下，关闭原先的master节点 2、在新的master上执行 slaveof no one 看到的日志: 6855:M 02 Sep 15:43: 2ba403b0a69dcacbfe92650ac8758ae236693d5c:4802). # 可以看到，从库在连接到新的主库时候，会把之前的主库复制的runid和pos发送给新master，尝试增量同步数据 5f01e7a777abda968d9765145d5bc09146226615 6923:S 02 Sep 15:44:00.429 * MASTER <-> SLAVE sync: Master accepted a Partial Resynchronization. 4、
1.3K20发布于 2019-09-18 - 来自专栏全栈程序员必看
数据同步工具
公司要搞数据平台，首当其冲的是把旧库的数据导入到新库中，原本各种数据库大部分都提供了导入导出的工具，但是数据存储到各个地方，mongdb,hbase,mysql,oracle等各种各样的不同数据库，同步起来头都大了 而且本来就是专门做ETL的，是Pentaho指定的ETL组件，对于数据清洗等处理数据的环节支持更好。但是数据效率一般，而且在生产环境也很少弄台windows机器，适合小项目，数据量比较小的同步。 实时同步 实时同步最灵活的还是用kafka做中间转发，当数据发生变化时，记录变化到kafka，需要同步数据的程序订阅消息即可，需要研发编码支持。 这里说个mysql数据库的同步组件，阿里的canal和otter canal https://github.com/alibaba/canal canal是基于mysql的binlog进行数据同步的中间件 非常适合mysql库之间的同步。 而且通过retl_buff表的监控，也可以实现一些全量数据的同步。 但是otter也有一些不好的地方，比如界面上的参数并不是所有的都有用，文档写的一般，不是很清晰。
3.5K20编辑于 2022-09-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号