- 综合排序
- 最热优先
- 最新优先
- 来自专栏涤生的博客
异地多活场景下的数据同步之道
在当今互联网行业，大多数人互联网从业者对"单元化"、"异地多活"这些词汇已经耳熟能详。 而数据同步是异地多活的基础，所有具备数据存储能力的组件如：数据库、缓存、MQ等，数据都可以进行同步，形成一个庞大而复杂的数据同步拓扑。 本文将先从概念上介绍单元化、异地多活、就近访问等基本概念。 小结：如果仅仅是考虑不同地区的用户数据就近写入距离最近的IDC，这是纯粹意义上的”单元化”。不同单元的之间数据实时进行同步，相互备份对方的数据，才能做到真正意义上"异地多活”。 2 如何实现数据同步 需要同步的组件有很多，例如数据库，缓存等，这里以多个Mysql集群之间的数据同步为例进行讲解，实际上缓存的同步思路也是类似。 2.6 数据同步架构设计 现在，让我们先把思路先从解决数据同步的具体细节问题转回来，从更高的层面讲解数据同步的架构应该如何设计。
4.5K41发布于 2019-05-10 - 来自专栏杨建荣的学习笔记
异地多活场景下的数据同步之道
作者：田守枝 来源：田守枝的技术博客订阅号（ID：tianshouzhi_blog） 在当今互联网行业，大多数人互联网从业者对"单元化"、"异地多活"这些词汇已经耳熟能详。 而数据同步是异地多活的基础，所有具备数据存储能力的组件如：数据库、缓存、MQ等，数据都可以进行同步，形成一个庞大而复杂的数据同步拓扑。 本文将先从概念上介绍单元化、异地多活、就近访问等基本概念。 3、小结 如果仅仅是考虑不同地区的用户数据就近写入距离最近的IDC，这是纯粹意义上的”单元化”。 不同单元的之间数据实时进行同步，相互备份对方的数据，才能做到真正意义上"异地多活”。 二、如何实现数据同步 需要同步的组件有很多，例如数据库、缓存等，这里以多个MySQL集群之间的数据同步为例进行讲解，实际上缓存的同步思路也是类似。 6、如何解决数据回环问题 数据回环问题，是数据同步过程中，最重要的问题。
2.8K31发布于 2019-09-25 利用YashanDB实现企业数据实时同步与异地备份
本文将深入解析YashanDB在实现企业数据实时同步及异地备份中的核心技术，帮助数据库管理员和技术研发人员理解和应用该技术体系。 同步复制模式确保主库事务提交时redo日志已同步到备库，备库数据与主库实时保持一致，适用于对数据零丢失有严格需求的业务场景。 YashanDB支持多备库及多层级联备复制，借助级联备库实现异地数据备份，降低主库带宽压力，提高远程容灾能力。备库通过日志回放线程（RCY_REPL）并行恢复redo日志，快速同步主库数据。 完善的备份恢复体系实现多级异地备份面对突发故障或数据破坏，YashanDB提供物理全量备份、增量备份及归档备份策略保障数据安全。备份集支持加密存储，提升数据安全等级。 YashanDB通过灵活的部署架构、完善的主备复制机制及高效的备份恢复体系，为企业构建坚实的数据同步与异地备份解决方案。
34510编辑于 2025-09-11YashanDB数据库数据同步与异地容灾解决方案
在现代企业中，数据库技术面临着日益严峻的挑战，如数据一致性问题、性能瓶颈和灾难恢复能力不足等。数据同步以及异地容灾是确保数据可用性和连续性的重要手段。 YashanDB作为一款高可用的数据库系统，采用多种部署架构和存储管理优化策略，为数据同步与异地容灾提供了全面的解决方案。 本文旨在解析YashanDB在数据同步与异地容灾方面的技术原理、优势和最佳实践，帮助企业更好地理解并应用这些技术。1. 技术建议与最佳实践对于企业使用YashanDB处理数据同步与异地容灾，以下技术建议和最佳实践值得考虑：选择合适的部署架构，确保根据业务需求综合考虑高可用性和成本效益。 通过定期监控和更新统计信息，确保优化器能够生成最佳执行计划，提高数据库性能。结论YashanDB通过高效的同步手段和异地容灾策略，为企业提供了强有力的数据保护和服务可用性保障。
24100编辑于 2025-07-07- 来自专栏web推送技术
sync-player：使用websocket实现异地同步播放视频
前段时间我有这样一个需求，想和一个异地的人一起看电影，先后在网上找了一些方案，不过那几个案都有一些缺点 coplay: 一个浏览器插件，只能播放各大视频网站的视频，视频资源有限，我想要看的视频没有，比如一些经典电影和美剧之类 功能介绍&特性： 一个可以同步看视频的播放器，可用于异地同步观影、观剧，支持多人同时观看。 本项目有两个版本，web版运行在浏览器上，可跨平台，不限操作系统、设备，功能简单适用于要求不高的用户。 演示demo: web版同步效果 [BSQoHx.gif] 客户端与web版同步效果 [BSQID1.gif] 原理： 基于websocket实现，与一些用websocket实现的聊天室类似，只不过这个聊天室里的消息换成了播放暂停的动作和时间信息 [image] 使用场景3： 需要使用zerotier或其他VPN工具将异地设备组成一个大局域网，其中任意一台PC均可作为websocket服务端和http服务端(需要上传带宽足够大)。 经过一番研究之后，我找到了控制视频播放、暂停、快进的代码位置，并将控制同步的代码移植了进去，从而也实现了同步功能，并且与web版兼容。
3.7K71发布于 2020-10-20 - 来自专栏kali blog
手把手教你异地两设备 文件实时同步
笔者有两台设备分别在异地。如何实现两台设备文件的实时同步呢？ 在生活工作我们需要将两台设备中的文件进行同步。如果在同一房间我们可以拿个U盘进行复制。如果是异地的两台设备该如何同步文件呢？ 关于 Syncthing是一款开源免费跨平台的文件同步工具，是基于P2P技术实现设备间的文件同步。针对隐私问题，Syncthing软件只会将数据存储于个人信任的设备上，不会存储到服务器上。 设备之间的通信均通过TLS进行，Syncthing还使用了完全正向保密技术来进一步保障你的数据安全。 异地组网 因为是两台异地设备，因此我们需要对设备进行异地组网。 添加完成后，稍等片刻后，会在异地主机B上弹窗连接确认。 点击添加设备后，完成连接。 添加实时同步文件夹 添加一个文件夹（A或B都可以）。 配置文件共享 配置完成后，会在异地主机B上面提示共享信息。 测试 我们在远程主机B新建一个文件后，在本地主机A会自动同步。 主机B的文件 主机A的文件 总结 通过Syncthing这款工具，我们能很方便的实现多台设备直接的数据增删改同步操作。
2.1K10编辑于 2025-07-28 - 来自专栏北京马哥教育
git用网盘做版本仓库，实现异地同步
git在不用github这种远程仓库时，如何实现异地同步呢？ 下班前提交代码，回家后同步代码继续开发并提交，第二天来公司继续…… 这里做个实验：用网盘的目录同步功能，我们打造一个"伪远程仓库”。 在本地找个目录作为"远程仓库”，假设我们将 e:\kuaipan\phalcon 这个作为远程仓库，那么就将这个目录拖进快盘(U盘)里，然后再快盘客户端里右键该目录，开启同步。 步骤2. 假设到家了，我们打开快盘，将快盘中的目录phalcon同步到本地，相当于把公司的远程库拷贝了一份，假设同步到了 d:/kuaipan/phalcon 然后到工作区 ? & git commit -m "---over---" git push d:/kuaipan/phalcon 我们在家里完成了一些工作，最后同样push到了远程仓库，远程仓库发生了一些变化，会自动同步到快盘里 步骤6. 第二天到公司，重复步骤5类似的操作。
1.8K40发布于 2018-05-02 - 来自专栏用户9757876的专栏
异地局域网通过公网进行IPv6的数据通信
异地的两个局域网，希望通过公网进行IPv6的数据通信，而又不希望公网感知到内部的路由信息，且希望实现业务隔离，那就可以通过6VPE的技术来实现。 family [PE1-vpn-instance-vpna-af-ipv6] route-distinguisher 100:1 [PE1-vpn-instance-vpna-af-ipv6] vpn-target PE2-vpn-instance-vpna] ipv6-family [PE2-vpn-instance-vpna-af-ipv6] route-distinguisher 100:1 [PE2-vpn-instance-vpna-af-ipv6 peer 3.3.3.3 as-number 100 peer 3.3.3.3 connect-interface LoopBack0 ipv6-family vpnv6 peer 3.3.3.3 enable # ipv6-family vpn-instance vpna network 2001:20:: 64 # 检查6VPE邻居及路由表 6VPE数据通信检测 总结：Mpls好是好，数据传输稳定，唯一的缺点就是贵
1.7K20编辑于 2022-05-18 - 来自专栏idba
6次优化,数据同步效率提升72倍
分钟去扫描一次samba存储，读取之后跟日志文件中的记录作比对，如果发现有目录下面的文件数量跟日志文件中记录的不一致，就会把目录发给rabbitmq，然后consumer从MQ中读取目录信息，把此目录进行一次数据同步到 如果还存在这么大的延迟，那只能说明是producer存在问题，因为producer根本就没有推送消息到rabbitmq，所以导致文件同步存在很大的延迟。 这次是客户反馈说很多文件都延迟非常大，于是我们查了一下发现数据确实是没有同步到云上。经过排查，我发现应用竟然在执行的过程中报空指针异常退出了。异常日志如下： . Users/edy/go/pkg/mod/gopkg.in/ini.v1@v1.67.0/file.go:175 +0x26 gosync/rabbitmq.recursiveDir.func1({0x6ec978 Users/edy/gosync/rabbitmq/producer.go:90 +0x234 created by gosync/rabbitmq.recursiveDir in goroutine 6
32110编辑于 2024-07-12 - 来自专栏Linux运维之路
shell编程——实践6（文件同步）
项目名称：服务器文件同步项目背景在现代 IT 环境中，数据的可靠性和完整性对于业务连续性至关重要。随着业务规模的扩大和数据量的增长，数据同步和备份成为了数据管理的重要组成部分。 特别是在分布式系统和多站点部署的情况下，确保数据的一致性和可用性对于业务运营来说至关重要。目标数据同步：实现实时或定期的数据同步，确保多个位置的数据一致性。 灾难恢复：在发生数据丢失或损坏的情况下，能够快速恢复数据。性能优化：通过高效的数据同步策略减少网络带宽消耗和提高同步速度。需求文件同步：在不同的服务器或存储设备之间同步文件。 脚本的作用与好处实时同步：脚本能够实时或按计划同步文件，确保多个位置的数据一致性。这有助于快速识别潜在的数据不一致问题，并确保所有位置的数据是最新的。 这有助于保护敏感数据免受未授权访问。实际应用场景数据中心同步：在不同的数据中心之间同步文件，以实现数据冗余和灾难恢复。云环境管理：在云环境中同步文件，确保多云环境或混合云环境的数据一致性。
36000编辑于 2024-08-09 - 来自专栏测试基础
【Java多线程-6】synchronized同步锁
synchronized同步锁 前文描述了Java多线程编程，多线程的方式提高了系统资源利用和程序效率，但多个线程同时处理共享的数据时，就将面临线程安全的问题。 Hotspot虚拟机的对象头主要包括两部分数据：Mark Word（标记字段）、Klass Pointer（类型指针）。 其中Klass Point是是对象指向它的类元数据的指针，虚拟机通过这个指针来确定这个对象是哪个类的实例，Mark Word用于存储对象自身的运行时数据，它是实现轻量级锁和偏向锁的关键，所以下面将重点阐述 ，但是无法从数组的元数据来确认数组的大小，所以用一块来记录数组长度。 对象头信息是与对象自身定义的数据无关的额外存储成本，但是考虑到虚拟机的空间效率，Mark Word被设计成一个非固定的数据结构以便在极小的空间内存存储尽量多的数据，它会根据对象的状态复用自己的存储空间，
1.1K30发布于 2020-09-16 - 来自专栏苏三说技术
MySQL同步ES的6种方案！
然而，如何实现两者间的高效数据同步，是架构设计中绕不开的难题。 这篇文章跟大家一起聊聊MySQL同步ES的6种主流方案，结合代码示例与场景案例，帮助开发者避开常见陷阱，做出最优技术选型。 方案一：同步双写 场景：适用于对数据实时性要求极高，且业务逻辑简单的场景，如金融交易记录同步。 在业务代码中同时写入MySQL与ES。 数据一致性风险：若ES写入失败，需引入补偿机制（如本地事务表+定时重试）。 方案二：异步双写 场景：电商订单状态更新后需同步至ES供客服系统检索。 我们可以使用MQ进行解耦。 方案五：DataX批量同步 场景：将历史订单数据从分库分表MySQL迁移至ES。 该方案是大数据迁移的首选。 无 高 高并发生产环境 DataX 小时级 无 中 历史数据迁移 Flink 毫秒级 低 极高 实时数仓 苏三的建议： 若团队无运维中间件能力 → 选择Logstash或同步双写 需秒级延迟且允许改造
2.6K11编辑于 2025-05-06 - 来自专栏NFS
Hammerspace如何实现无需复制数据即可在异地使用数据？
Hammerspace之所以能够实现“无需复制数据即可在异地使用数据”，核心在于它的全局元数据控制层（Global Metadata Control Plane）和本地化编排能力。 异地访问的方式 Hammerspace提供 三种方式让异地访问数据而无需复制完整数据： a) 数据就近访问 当一个远端站点请求数据时： 如果网络条件允许，它直接从原始位置进行远程访问（如 NFS-over-WAN b) 元数据重定向 + 后台数据同步 对于某些冷数据： 系统只同步元数据到远端站点。 当该站点首次访问文件时，后台进行数据拉取或缓存。 应用无感知，文件就像“本地存在”。 ，无需手动复制或同步数据。 数据不需要“整份”复制到上海，但访问速度几乎接近本地体验。 总结 Hammerspace 实现异地访问而不复制数据的本质在于：解耦元数据与数据本体，通过智能编排与懒加载实现跨地域的无缝访问体验。
23410编辑于 2025-07-27 - 来自专栏云原生生态圈
MYSQL数据同步之基于GTID事务数据同步
MYSQL基于GTID数据同步方式 同步原理 客户端发送DDL/DML给master上，master首先对此事务生成一个唯一的gtid，假如为uuid_xxx:1，然后立即执行该事务中的操作。 "注意行6"是在所有事务执行结束时设置的，表示自动获取gtid的值。它对复制是隐身的(也就是说不会dump线程不会将它dump出去)，该行的结尾也说了，这一行是mysqlbinlog添加的。 同步实现方式 实现单slave通过gtid数据同步 本文通过Docker以及mysql5.7 镜像进行基于GTID数据复制的同步实践。 只有slave上具有了这部分基准数据，才能保证和master的数据一致性。 GTID从库数据同步 假如当前master的gtid为A3，已经purge掉的gtid为"1-->A1"，备份到slave上的数据为1-A2部分。
5.7K20发布于 2020-09-21 - 来自专栏全栈程序员必看
mysql数据库同步工具_mysql同步工具_mysql数据库同步
QQ1793040 ———————————————————- 关于HKROnline SyncNavigator 注册机价格的问题 HKROnline SyncNavigator 8.4.1 企业版数据同步软件 自2009年第一个版本开发出来以来，经过8年不断地根据客户需求，加强功能，修复bug，现在已经具备强大的数据库同步功能，以前官方syncnavigator授权码的价格是2800元一套，授权码是绑定电脑硬件的 因为这款HKROnline SyncNavigator 软件是目前为止，国内做的最好的数据库同步软件，傻瓜式同步数据库，只需要你设置好来源数据库和目标数据库的账号和密码，一键开启，后台自动同步，断点续传 并且还支持异构数据库，也可以同步部分表或者部分字段，都可以进行更为精准的设置操作。 SyncNavigator 数据酷同步工具 做数据同步时所支持的数据库类型： 支持sqlserver 2000-2014所有版本，全兼容，和MYsql 4.x 、MYsql 5.x 、MYsql 6.x
29.9K20编辑于 2022-09-07 - 来自专栏大数据进阶
flinkx数据同步
本文会描述如下几部分的数据同步 mysql2mysql mysql2hive flinkx的版本1.12-SNAPSHOT 1.拉取代码 git clone https://github.com/DTStack
2.3K30发布于 2021-11-22 - 来自专栏全栈程序员必看
数据同步工具
公司要搞数据平台，首当其冲的是把旧库的数据导入到新库中，原本各种数据库大部分都提供了导入导出的工具，但是数据存储到各个地方，mongdb,hbase,mysql,oracle等各种各样的不同数据库，同步起来头都大了 而且本来就是专门做ETL的，是Pentaho指定的ETL组件，对于数据清洗等处理数据的环节支持更好。但是数据效率一般，而且在生产环境也很少弄台windows机器，适合小项目，数据量比较小的同步。 实时同步 实时同步最灵活的还是用kafka做中间转发，当数据发生变化时，记录变化到kafka，需要同步数据的程序订阅消息即可，需要研发编码支持。 这里说个mysql数据库的同步组件，阿里的canal和otter canal https://github.com/alibaba/canal canal是基于mysql的binlog进行数据同步的中间件 非常适合mysql库之间的同步。 而且通过retl_buff表的监控，也可以实现一些全量数据的同步。 但是otter也有一些不好的地方，比如界面上的参数并不是所有的都有用，文档写的一般，不是很清晰。
3.5K20编辑于 2022-09-13 - 来自专栏数据和云
基于裸数据的异地数据库性能诊断与优化
作者介绍 杨江， 6年Oracle工作经验，4年Oracle数据库专业服务经验，擅长性能优化、性能问题诊断、故障排查、GOLDENGATE。 影响数据库性能的因素有很多，从大的方面可以分为硬件和软件。 硬件包括CPU、内存、存储、网络设备等，软件方面包括操作系统版本、操作系统参数、数据库版本、数据库参数、数据库架构、运行的SQL代码等。 3、导出AWR裸数据 $ORACLE_HOME/rdbms/admin/awrextr.sql 4、本地导入创建的表 5、通过数据泵导入AWR裸数据 $ORACLE_HOME/rdbms/admin/ 结合绑定变量和条件看，大范围上，只查询40天以内的数据。 条件列数据分布情况 ? 已知此表中SUBMITDATE保留3年数据，在数据分布平均的情况下，此SQL查询的数据量约为(296815739/3/365)*40/25/2=21.7W，约占整个表的0.07%。
1.2K50发布于 2018-03-08 - 来自专栏idba
数据库的异地多活分析和方案
不过这个方案在数据同步性能上有瓶颈。 最后，3和4两种形态，应用都是本地读写数据库(即单元化，单元内请求自封闭)才有意义。后面主要讨论如何基于分布式MySQL实现第4种异地多活。 异地多活的困难 ---- 异地多活的目标很吸引人，但是技术门槛也很高。说光靠一个数据库或者一个数据传输产品就可以做异地多活是很片面的。 在流量调整过程中，一个处于业务流程中的订单记录随后的访问流量可能恰好切换到异地单元，但是数据同步不巧又有延时，此时用户读取的数据就是有延迟的数据（不是最新的数据），很容易会恐慌或者误操作。 这里还有个问题就是不同模块的应用，数据延时都不同，不可能要等所有数据同步都追赶上才恢复。所以整体业务需要选择以哪个应用的数据同步延时为准。选择后，其他应用的数据同步延时就不在“禁止更新”策略里考虑了。 XDB解决了数据同步问题、故障切换和数据一致性问题。所以不需要借助数据传输产品。 基于OceanBase的异地多活方案 ? 这个方案在前文里已经详细介绍。
6.5K11发布于 2019-05-07 - 来自专栏Lambda
6.JUC线程高级-Lock 同步锁
解决多线程安全问题的方式： 同步代码块 synchronized(this) { } 同步方法 public synchronized void method() { } public static 之后出现一个新的显示同步锁 同步锁 Lock 显示锁 显示锁：必须通过 lock() 方法上锁，通过 unlock() 方法进行释放锁 此种方式是一种更加灵活更加高级处理线程安全问题的方式，但它也存在一定的不足 下面使用同步锁Lock- ReenTrantLock实现： package com.pyy.juc; import java.util.concurrent.locks.Lock; import java.util.concurrent.locks.ReentrantLock
24510编辑于 2022-04-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号