首页
学习
活动
专区
圈层
工具
发布
首页标签数据同步

#数据同步

数据同步软件横评:DataX、Canal、Flink CDC与KFS的架构、性能与DDL同步实测对比

这个DBA有点耶

做数据同步,最怕的是什么?不是全量迁移跑得慢,也不是带宽不够用。最怕的是,数据在谁都没发现的时候,悄悄地错了。

14210

① 数据中台实操:一站式全链路数据处理落地指南

奥零数据科技

摘要:中小企业建设数据中台,经常会遇到多数据源分散、工具繁多切换成本高、治理与开发割裂、可视化门槛高等现实问题。本文结合开源数据中台实践,讲解数据中台基础的核心...

13700

数据同步延迟怎么排查?AI应用答旧数据的3个根因

路远的数据库笔记

上个月,一个做客服系统的团队找我。他们的知识库接了AI问答,数据靠一条同步链路送过去。用户问退款时效,回答的还是老政策。截图甩到群里,客服主管第一句话是:模型是...

8200

数据同步全绿、报表却对不上?qData 数据中台用 4 步把质量稽查变成日常

星浪的数治笔记

数据同步任务显示成功,报表数字却和业务系统对不上。订单记录重复、关键字段缺失、日期格式不统一、金额超出合理范围——这些异常不会让同步任务失败,数据照样写入目标库...

10420

MySQL 到金仓实时同步实践:binlog 检查、任务配置和增删改验证

用户1433896

把 MySQL 存量复制到金仓之后,业务仍会修改和删除数据。若只按自增 ID 继续查询,新记录能够进入目标,旧记录的修改与物理删除却可能被遗漏。

13510

数据库增量轮询为什么会漏更新?用 MySQL 到 Kingbase 拆解字段与位置

用户1433896

轮询间隔是一分钟,仍然可能看不到刚修改的记录。原因可能是增量列没有变化:例如按自增 ID 读取时,旧行改了状态,ID 依然不变。频率决定何时查,字段和位置决定查...

10010

切换成功不等于业务恢复:从同步状态、仲裁日志到旧主连接清理的完整排查链路

这个DBA有点耶

有一次凌晨切换演练,监控大盘上所有指标都变绿了:主库失联、备库接管、切换耗时12秒。值班的同事在群里发了一句“切换成功”。

12510

DDL同步断链排查:260条异构链路的4步结构转换

数据库小学妹

我以前觉得,数据同步最难的是量大。后来才知道,真正让人半夜爬起来的是改表。源端加一个字段,目标端可能就写不进去了。一条链路还好。260条链路一起跑,问题会被放大...

10810

凌晨一个数据同步任务,把白天的订单创建全卡住了——自增锁的连锁反应

这个DBA有点耶

第一反应是锁等待。查sys.innodb_lock_waits,没有行锁冲突。查慢查询日志,发现慢的都是INSERT语句。查磁盘I/O,正常。查网络,正常。

14910

数据库同步DDL转换:正则替换为什么不够用

数据工匠老o

十五年数据库相关经验,做过 DBA、架构师、技术顾问。不求"颠覆",只求"靠谱"。

14810

双轨并行架构设计:全量迁移的并行策略、增量同步的延迟基准与双向Master实现

这个DBA有点耶

中国信通院《数据库发展白皮书》指出,核心系统的数据库迁移面临三大结构性难题:停机窗口长、数据一致性难保证、故障后缺乏回退手段。传统模式是“停机 → 全量迁移 →...

16910

数据迁移不停机方案:存量增量接力与双轨割接设计

数据库小学妹

做数据迁移,我最怕在评审会上听到这一句:这套系统 7×24 跑,一秒都不能停,你们方案里那个"停机窗口",我这里批不出来。

23420

数据共享交换平台:交换方式与底座同步

数据库小学妹

上周有个做政务项目的朋友来找我吐槽。他们花了半年建数据共享交换平台,目录也梳了,接口也通了。结果一上量,交换链路天天告警,报表数据对不上,查了三天没找到根。我当...

22310

数据迁移方案怎么落地:六阶段闭环、迁移校验与回退设计

数据库小学妹

我第一次做信创迁移,评估报告上写着兼容率 95%,功能测试全绿。上线两周后,客服反馈同一个单据被录入两次。我第一反应是不可能。数据是脚本一条条搬过去的,条数能对...

29910
领券