- 综合排序
- 最热优先
- 最新优先
- 来自专栏运维小路
Kafak-异构数据库迁移(MYSQL迁移PG)
中间件，我给它的定义就是为了实现某系业务功能依赖的软件，包括如下部分: Web服务器 代理服务器 ZooKeeper Kafka（本章节） 在我以前的工作中遇到过多次数据库迁移，如果数据库是一样的，其实相对都是比较简单的 因为基本上都可用利用数据库自身的同步原理就可以实现，但是现实中还有需求就是异构数据库的迁移。就好比Oracle到MYSQL，当然这里我为了简单，我这里用了简单的MYSQL迁移到PG。 消费者从Kafka里面消费数据，然后写入PG数据库。 环境准备 一个MYSQL数据库，里面有一个库，一个表，表里面有部分数据。 一个PG数据库，里面已经提前创建了和MYSQL同样的库表（无数据）。 import json import time import psycopg2 from kafka import KafkaConsumer from datetime import datetime value_deserializer=lambda v: json.loads(v.decode('utf-8')) ) self.pg_conn = psycopg2.
48600编辑于 2025-06-11 - 来自专栏韩锋频道
异构数据库迁移的曲折之路
2).业务梳理 要完成数据库迁移，上层的业务系统也是需要考虑的，甚至在某种程度讲，配套的应用迁移更加重要，在后续的迁移过程中占比也更高、难度也更大。 对运维的培训，则侧重如何将这种新的数据库融入到现有的运维体系中。特别是当前很多分布式架构数据库，与传统集中式数据库不同，其对于运维带来的挑战也更大。 2. 针对数据库、存储端同步方案，一般都是较为通用的方案。下文重点讲述数据库同步的方式。 2).结构迁移 结构迁移，是将数据结构的迁移。一般这一过程是可以提前完成的。数据结构确定后，即可完成这一过程。 2).数据校验 数据迁移后，在上线前还需要对数据同步后的质量有所判断，这就引入数据校验的初衷。严格来讲，这是数据质量保证的一部分。 这里存在几个难点，一是海量数据如何快速比对，二是异构条件下数据如何比对，三是两侧数据同步变化时如何比对？目前已经有些产品能够支持较为完整的数据校验功能。个人也是比较建议，在数据迁移后进行对比。
1.7K30发布于 2021-08-13 Oracle迁移YashanDB实录：初试YMP异构数据库迁移平台
在YashanDB发起的“迁移体验官”活动中，众多数据库从业者积极参与并提交了实战体验。 本文作者通过亲自使用YMP工具完成了从Oracle向YashanDB的异构数据库迁移流程，系统性记录了YMP部署、环境配置、任务执行全过程，内容详实，干货满满。一、为什么选择YashanDB？ 二、YMP迁移平台简介2.1 平台定位YMP(YashanDB Migration Platform)是YashanDB推出的数据库迁移平台，专为支持 Oracle、MySQL、达梦等数据库平滑迁移至 问题2：目标库账号频繁锁定、删除分析：源端与目标库在同一环境，YMP 任务内部对账户有访问控制逻辑，导致冲突。问题3：评估报告无法刷新、迁移中断分析：对象评估未剔除不兼容项，或内存配置不足。 对数据库兼容性要求高的企业，在部署国产数据库前，不妨先用 YMP 做一次模拟迁移，真正做到“心中有数、迁得安心”。
48300编辑于 2025-04-21- 来自专栏YashanDB知识库
迁移方案详解 | 使用YMP从异构数据库迁移到YashanDB
如何从异构的Oracle、MySQL等数据库将存量的数据迁移至国产数据库，是企业技术升级和国产化战略中不可或缺的一环。 对于异构数据库之间的迁移，数据库对象兼容性是一个非常重要的问题。即使目标库对源端库有较好的兼容性，但是因为架构的不同，在一些数据对象、数据类型等方面难免存在差异。 常用的迁移手段YashanDB在进行Oracle、MySQL等异构数据库迁移到YashanDB时，主要采用以下两种常用迁移手段：01使用YashanDB自带的工具，如yasldr先采用源库导出工具导出成 无须关注源库，只需要导出成csv文件； 优势2：资源最大化利用。 同时YMP提供可视化服务，用户只需通过简单的界面操作，即可完成从评估到迁移到校验整个流程的执行与监控，轻松实现低门槛、低成本、高效率的异构数据库迁移实施。
90610编辑于 2025-02-18 - 来自专栏YashanDB
迁移方案详解 | 使用YMP从异构数据库迁移到YashanDB
如何从异构的Oracle、MySQL等数据库将存量的数据迁移至国产数据库，是企业技术升级和国产化战略中不可或缺的一环。 2. 数据库迁移的要点 在迁移链路中，我们通常关注以下五大维度： 维度一：迁移评估 首先需要考虑迁移前对源端库和目标库的兼容性评估，这是为了判断数据及元数据能否迁移，以及二者兼容性如何？ 对于异构数据库之间的迁移，数据库对象兼容性是一个非常重要的问题。即使目标库对源端库有较好的兼容性，但是因为架构的不同，在一些数据对象、数据类型等方面难免存在差异。 二、常用的迁移手段 YashanDB在进行Oracle、MySQL等异构数据库迁移到YashanDB时，主要采用以下两种常用迁移手段： 1. 同时YMP提供可视化服务，用户只需通过简单的界面操作，即可完成从评估到迁移到校验整个流程的执行与监控，轻松实现低门槛、低成本、高效率的异构数据库迁移实施。
52210编辑于 2025-01-10 崖山异构数据库迁移利器YMP初体验-Oracle迁移YashanDB
本文主要介绍如何通过崖山YMP异构迁移工具将Oracle数据库迁移到YashanDB数据库。 二、YMP简介2.1概述崖山迁移平台（YashanDB Migration Platform，YMP）是YashanDB提供的数据库迁移产品，支持异构RDBMS与YashanDB之间进行迁移评估、离线迁移 YMP提供可视化服务，用户只需通过简单的界面操作，即可完成从评估到迁移整个流程的执行与监控，实现低门槛、低成本、高效率的异构数据库迁移。 DDL语法PL/SQL一键自动转换支持源库自动抽取或手工导入提升迁移效率，降低人力投入成本2.2.3 数据迁移异构数据库元数据自动迁移，全量/增量支持传统离线方式，在线直连不停机方式支持元数据兼容映射全库 2.修改默认内置库为外置库，外置库不能和目标迁移数据库是一个实例。在此特别感谢崖山官方的李梦莹大拿，凌晨0:30帮我把问题解决了
1.6K10编辑于 2025-02-20- 来自专栏金融级分布式数据库TDSQL
银行核心海量数据无损迁移：TDSQL数据库多源异构迁移方案
本文将带来直播回顾第五篇《银行核心海量数据无损迁移：TDSQL数据库多源异构迁移方案》。 视频内容 关于TDSQL异构数据同步与迁移能力的建设以及应用方面的整个内容分四个部分： l 一是异构数据库方面包括数据分发迁移同步的背景——我们为什么要发展这一块的能力以及现在这部分服务的基本架构 ； l 二是TDSQL异构迁移能力有哪些比较好的特性，以及在实现这些特性的过程中的难点问题和我们提出的特色的解决方案； l 三是结合TDSQL现在在国产数据库的一些推广以及应用的经验，我们针对在异构数据迁移或者同步的领域场景最佳实践 当然，除了支持数据库迁移，多源异构迁移方案也支撑数据汇总、分发等业务场景，这也是TDSQL具备完善的产品服务体系的体现。 1 TDSQL异构数据迁移分发的背景及架构方案 1.1 TDSQL异构数据迁移方案的场景 image.png TDSQL作为一个金融级数据库，面对的更多是金融级场景以及金融机构客户，金融机构往往有一些比较特殊的需求
3.7K31发布于 2020-07-02 - 来自专栏「3306 Pai」社区
「3306π」沪江：从 SQL Server 到 MySQL （一）：异构数据库迁移
需要解决的问题 从 SQL Server 迁移到 MySQL，核心是完成异构数据库的迁移。 基于两种数据迁移方案，我们需要解决以下问题： 两个数据库的数据结构是否可以一一对应？出现不一致如何处理？ Percona 提供的备份工具 异构数据库迁移工具： Database migration and synchronization tools： ：国外一家提供数据库迁移解决方案的公司 DataX ： - Kettle ：国外的一款 GUI ETL 工具 Ispirer ：提供应用程序、数据库异构迁移方案的公司 DB2DB 数据库转换工具 ： ：一个国产的商业数据库迁移软件 Navicat Premium ：经典的数据库管理工具，带数据迁移功能 DBImport ：个人维护的迁移工具，非常简陋，需要付费 看上去异构数据库迁移工具和方案很多，但是经过我们调研，其中不少是为老派的传统行业服务的。 由于异构数据库迁移，真正能够进入我们选型的只有 DataX / yugong / DB2DB / MySQL Workbench。
2.6K30发布于 2019-06-15 - 来自专栏腾讯云数据库(TencentDB)
TBase如何接入kafka进行数据库异构迁移、或数据消费
TBase是腾讯云数据库团队维护的HTAP分布式数据库集群。 [TBase] 同时TBase支持异构数据的同步和迁移，在对应的运维管理平台OSS系统中留有对应的KAFKA接口，我们可以使用kafka来做其他数据库到TBase或反向TBase到其他数据的数据迁移或者同步工作 或者借助应用程序将其处理为纯文本的数据，进而可以进行跨平台或版本的异构数据迁移的同步或迁移操作。 可以使用kafka 将异构平台数据迁到TBase中或反向迁移等，同时也可将TBase数据消费使用，如果异构平台如Oracle，mysql，postgresql，等数据如果有需求迁到TBase中的话，也可以借助腾讯云的 DTS中的DB bridge工具进行异构平台数据迁移评估，兼容性语句语法改造，全量/增量同步等功能的一个迁移方案。
2.1K10发布于 2020-11-27 - 来自专栏数据和云
Oracle数据库迁移：异构传输表空间TTS HP-UX迁移至Redhat Linux 7.7
墨墨导读：本文来自墨天轮用户“你好我是李白”的投稿，记录一个Oracle数据库迁移过程 ：异构传输表空间TTS HP-UX迁移至Redhat Linux 7.7。 墨天轮主页：https://www.modb.pro/u/3997 传输表空间 异构跨平台传输表空间分为两种 使用MOS提供rman_xttconvert工具包进行在线迁移，即通常所说xtts。 可以参考文章：https://www.cndba.cn/dave/article/4404 由于一般数据库都需要在迁移过程中对外提供服务，所以表空间置为只读在大部分情况下不可接受，所以一般使用第一种xtts ，且数据库未开启归档模式，所以选择较为便捷第二种方式进行迁移。 7.10 修改弱密码 修改数据库内部以及操作系统弱密码符合安全要求。 8.
3.9K10发布于 2021-03-09 - 来自专栏QGS星球
springboot+Mybatis-Plus实现异构数据迁移
</excludes> </configuration> </plugin> </plugins></build>MybatisX逆向工程逆向工程：通过数据库表接口 Driver# 是否开启慢SQL记录outagedetection=true# 慢SQL记录标准 2 秒outagedetectioninterval=2MybatisX逆向工程只是一个便携的工具，自定义接口和实现类还是要自己写 Controller 层代码，支持模板引擎，更有超多自定义配置等您来使用内置分页插件：基于 MyBatis 物理分页，开发者无需关心具体操作，配置好插件之后，写分页等同于普通 List 查询分页插件支持多种数据库 ：支持 MySQL、MariaDB、Oracle、DB2、H2、HSQL、SQLite、Postgre、SQLServer 等多种数据库内置性能分析插件：可输出 SQL 语句以及其执行时间，建议开发测试时启用该功能 ，能快速揪出慢查询内置全局拦截插件：提供全表 delete 、 update 操作智能分析阻断，也可自定义拦截规则，预防误操作我正在参与 腾讯云开发者社区数据库专题有奖征文。
1.3K30编辑于 2023-10-05 担心异构数据库迁移踩 “坑”？听听大咖们怎么说
在技术升级和国产化战略的双重推动下，如何将来自 Oracle、MySQL 等异构数据库的数据无缝迁移至国产数据库，已成为企业持续发展的关键一环。 建议选择高度兼容的源数据库和目标库，并使用数据比较工具定期校验两者间的数据一致性，确保同步机制正确实施。Q2 YashanDB 团队在迁移过程中，如何保障数据的完整性呢？ 所以从 Oracle 迁移至 YashanDB 会非常方便。这样可以最大程度上降低因为异构数据库的迁移带来的应用行为的不一致，导致业务失败。 同时，对于异构数据库的迁移，应根据我们应用对数据的一致性要求，建议尽量对应用做全面的功能测试、性能测试以及回归测试等，来保证我们应用系统不出问题。 这就是我们崖山目前在保障异构迁移过程中数据类型的一致性，以及精度数据丢失等问题上面做的一些工作。Q3 对于异构迁移源数据库和目标库兼容性的问题，有什么需要注意的地方，两位老师有什么看法和经验吗？
28310编辑于 2025-02-21- 来自专栏腾讯云数据库(TencentDB)
腾讯云发布DBbridge，打造异构数据库一站式迁移平台
今天，腾讯云企业级数据库迁移产品DBbridge正式发布啦！DBbridge通过提供一站式数据迁移平台以及专家服务，帮助企业实现异构数据库之间数据的迁移和同步。 尤其在传统数据库迁移到分布式数据库场景下，DBbridge能够有效降低数据迁移的成本和复杂性，满足企业多样化的数据传输、数据汇聚、数据灾备等需求。 ? 但是，从传统数据库往云端分布式数据库的迁移并非易事，不仅成本高、周期长、工作量大，还面临源库迁移到目标数据库时对象兼容程度的问题。 DBbridge通过迁移平台和专家服务的方式，打造了一套从评估、改造、迁移到校验过程的标准化异构数据库迁移流程，并可针对不同客户场景定义个性化迁移规则，让政企客户可以通过迁移模板来定制不同业务数据库迁移方案 对于接下来的发展，腾讯云数据库副总经理王义成表示：“DBbridge将以异构数据库迁移为出发点，未来会作为企业内部数据库数据传输统一平台，拓展到数据同步、数据汇聚等业务场景，助力客户搭建出符合业务需求的数据库架构
2K20发布于 2020-06-19 腾讯云 DBbridge：实现异构数据库平滑迁移与多活架构建设
应对数据库迁移与灾备的高复杂度挑战 企业数据库上云及国产化替代过程中，面临异构数据迁移、跨版本升级、灾备建设等核心痛点。传统迁移工具难以保障数据一致性，且运维复杂度高，影响业务连续性。 提供一站式数据传输与灾备解决方案 腾讯云DBbridge提供企业级数据传输服务，支持同构/异构数据库迁移、双向同步及实时数据订阅。 关键能力包括： 异构数据迁移：支持Oracle/DB2到TDSQL MySQL等国产数据库的结构订正与类型映射 一键割接与反向回流：通过向导式操作实现分钟级业务切换，支持API集成运维系统 双向同步与持续校验 ，保障链路稳定性 典型客户实践验证方案可靠性 某汽车厂商/农商行Oracle迁移项目：通过DBbridge完成Oracle到TDSQL MySQL的异构迁移，实现数据下移与增量回迁，保障数据一致性 国有大行跨版本升级 在金融、电商等行业得到规模化验证，满足企业数据库迁移、版本升级与灾备建设需求。
25610编辑于 2026-05-31YashanDB｜担心异构数据库迁移踩“坑”?听听实战大咖怎么说
随着信创改造深入和企业 IT 架构的持续升级，“从 Oracle/MySQL 等异构数据库平滑迁移到国产数据库”已经成为众多企业面临的重要课题。 本期 YashanDB Meetup 第13期，我们邀请了两位一线实战专家：TechTalk 社区创始人尚雷、YashanDB 售后负责人张建龙，一起围绕“异构数据库迁移”展开深度对话，从技术挑战到工具选择 Q2：YashanDB 是如何保障数据一致性的？张建龙：我们从两方面来做：一是内核层面设计就向 Oracle 靠拢，包括数据类型、精度、函数处理结果等都尽可能做到一致。 对于 MySQL 和 PG 这类数据库，我们也支持和 Oracle 不冲突的特性，未来还会发布专门的 MySQL 兼容版本。Q3：异构迁移中最难搞的兼容性问题，主要在哪？ 张建龙：我们的思路是“分层迁移”：1.全量迁移先跑，确保主数据完整;2.实时增量同步接上，缩短切换窗口;3.导入工具用 yasldr 代替 SQL insert，效率更高，还能关闭 redo 日志提高灌入速度
34300编辑于 2025-04-23- 来自专栏数据和云
异构迁移Oracle的前世今生——HuaweiCloud+UGO+DRS
二、什么是UGO，DRS，GaussDB 数据库和应用迁移 UGO（Database and Application Migration UGO，简称UGO）是专注于异构数据库结构迁移和应用SQL转换的专业云服务 通过UGO的预迁移评估、自动化语法转换，帮助用户提前识别迁移风险，提升迁移效率，最大化降低用户的数据库迁移成本。 三、迁移测试 本次测试模拟生产环境中的Oracle数据库到华为云GaussDB(for openGauss)的异构迁移，使用UGO来迁移对象，使用DRS来迁移并实时同步数据，并对迁移过程及数据进行评估和校验 四、测试总结 传统的Oracle异构迁移需要大量的人工参与调研评估、测试验证，项目实施的周期也非常长，整个人力成本平均大约在50万左右。 在目前“去O”+上云的趋势下，借助华为云的UGO和DRS工具能够快速迁移到华为云GaussDB(for openGauss)以及RDS等异构数据库，工具完全覆盖了整个异构对象迁移、数据同步、数据校验整个项目周期
1.3K60编辑于 2022-01-05 - 来自专栏IT码农
Yii2之数据库迁移（Migrate）
在开发和维护一个数据库驱动的应用程序时，数据库的结构会随代码的改变而改变。 因为一个数据库结构发生改变的时候源代码也经常会需要做出改变，Yii 提供了一个 数据库迁移 功能，该功能可以记录数据库的变化， 以便使数据库和源代码一起受版本控制。 创建一个数据库迁移： yii migrate/create <name> 这是一个通用的创建数据迁移格式，其中<name>是必填的参数，用来描述当前迁移。 而mssql数据库中并没有text数据类型，但是有个类似的数据类型，叫做ntext。如果在数据库迁移到mysql的时候直接写实体字段类型text，那么如果改换数据库为mssql的时候就会很麻烦。 数据库中会出现一个叫做migration的表，用来记录迁移记录，如图： ? 选中的就是当前迁移操作生成的记录。 会生成一个数据表test_table并且插入一条数据。 ?
2.1K41发布于 2019-09-02 YashanDB：异构数据库迁移会踩坑?听听大咖怎么避坑提效!
在信创大潮与系统升级的双重驱动下，“如何平滑地将Oracle、MySQL等异构数据库迁移到国产数据库”已成为很多企业绕不开的技术难题。 在YashanDB Meetup 第13期现场，我们请到了两位实战专家——TechTalk社区创始人 尚雷 和 YashanDB 售后负责人 张建龙，聊聊数据库迁移那些你关心但没问出口的问题! MySQL/PG等特性，在不冲突前提下也尽量兼容2.配套迁移平台 YMP支持全量与统计校验新版本引入抽样+统计混合校验，提升效率同时兼顾准确性Q2：源库与目标库之间有哪些兼容性细节要注意？ 前期备份+完整性校验，宁多不省2. 用高度兼容的数据库 + 专业迁移工具(如 YMP)3. 测试环境演练不可省，做好回退预案4. 关注SQL兼容性、触发器、执行计划等细节5. 根据业务窗口选择合理的迁移方式(全量 / 增量 / 实时)6. 尽可能选择对Oracle兼容好的目标库，降低“改代码”成本下期Meetup你想听谁来聊？想了解哪类数据库话题？
30210编辑于 2025-04-17- 来自专栏小麦苗的DB宝专栏
Oracle异构平台迁移利器之XTTS（使用rman方式）
、xtt.properties参数 1.3.3、文件介绍 1.4、参考文档 1.5、迁移过程导图 二、XTTS迁移示例 2.1、数据库检查 2.1.1、查询平台字节序和字符集 在U2L如火如荼的今天，通过XTTS快捷、高效、平稳、安全的将Oracle数据库“小型机+集中式存储”环境迁移至“X86架构平台+分布式存储”已然成为一大神技。 -G options) DBMS_FILE_TRANSFER 包是 Oracle 提供的一个用于复制二进制数据库文件或在数据库之间传输二进制文件的程序包，在 XTTS 迁移中，利用不同的参数进行数据文件传输转换完成迁移 如果准备使用DDBMS_FILE_TRANSFER 作为全量迁移方法，那么必须创建三个数据库对象： 源数据库中的数据库目录对象。 目标数据库中的数据库目录对象，放置数据文件的位置。 2.不修改、不复制文件incrbackups.txt.new。 3.该过程每次执行都会重启目标数据库。
6.7K30编辑于 2022-11-07 - 来自专栏腾讯云数据库(TencentDB)
直播预告 | 高性能、安全稳定、数据一致：TDSQL如何实现数据库异构迁移
直播互动福利：每晚直播间也同样会送出多份腾讯公仔，更有腾讯徽章、腾讯云代金券等好礼送上！快快预约报名吧！ 扫码关注后回复「加群」 提前加入沙龙交流群 点击下方「阅读原文」，预约所有中意直播！
51310发布于 2020-03-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号