- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据与微服务架构
数据迁移工具Sqoop
Sqoop 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，它是Hadoop环境下连接关系数据库与Hadoop存储系统的桥梁，支持多种关系型数据源和Hive、HDFS、Hbase的相互导入 2、可以自动地完成数据类型映射与转换。导入的数据是有类型的，它可以自动根据数据库中的类型转换到Hadoop中，当然也可以自定义他们的映射关系。 Sqoop主要通过jdbc连接关系型数据库，理论上只有关系型数据库支持JDBC都可以使用Sqoop与HDFS进行数据交互。 Map任务，并行地从HDFS中读取数据文件，将这个数据复制到数据库中。 Sqoop不仅可以用于关系型数据库与HDFS文件系统之间进行数据转换，也可以将数据从关系型数据库传输至Hive或Hbase，而对于数据从Hive或者Hbase 传输到关系型数据库来说，则可以从Hive或者
3K20发布于 2020-04-11 - 来自专栏idba
Redis 数据迁移工具
一 简介 Redis Input/Output Tools (RIOT) 工具是一款支持 Redis 和文件，数据库之间进行数据同步的工具，支持全量和增量同步。 RIOT 工具的增量功能是基于 Redis 的键空间消息提醒（keyspace notification）功能，通过监听 源数据库的键值数据变化事件并解析该事件为对应的命令动作，在目标端执行该命令，以便达到增量迁移 /riot --help 2.3 迁移命令 RIOT 工具支持 Redis 到 Redis ，文件和 Redis， 数据库和 Redis 之间进行数据同步迁移，本文只基于 Redis 之间的数据迁移功能 增量迁移 测试十多种数据类型，都能同步到目标端。 RIOT 工具支持作为从库实时同步数据，迁移速度还是非常快的，现有的测试环境中迁移速度可达 3w/s ，具体涉及到客户的环境，需要注意出口带宽，避免带宽比较小，导致迁移延迟。
1.9K21编辑于 2023-09-04 - 来自专栏Reinvent Data Science
Milvus 数据迁移工具 -- Milvusdm
Milvusdm (Milvus Data Migration) 是一款针对 Milvus 研发的数据迁移工具，支持 Milvus 数据传输以及数据文件的导入与导出： Faiss to Milvus： 功能介绍 在之前发布的文章 Milvus 迁移升级攻略中，我们介绍了如何将 Milvus 数据从有网环境迁移到无网环境以及不同版本 Milvus 之间的数据迁移。 数据迁移工具 milvusdm 可以通过指定 Milvus 中的集合或分区，帮助用户更智能地迁移所需数据。 你可以通过代码文件结构了解 milvusdm 工具的设计构思。如有新的数据迁移需求，你还可以通过修改源码，为社区贡献代码。 ? 本文介绍了 milvusdm 工具的使用方法和开源代码。
4.4K20发布于 2021-03-22 - 来自专栏宜信技术实践
Redis migrate 数据迁移工具
在工作中可能会遇到单点Redis向Redis集群迁移数据的问题，但又不能老麻烦运维来做。为了方便研发自己迁移数据，我这里写了一个简单的Redis迁移工具，希望对有需要的人有用。 本工具支持: 单点Redis到单点Redis迁移 单点Redis到Redis集群迁移 Redis集群到Redis集群迁移 Redis集群到单点Redis迁移 该工具已经编译成了多平台命令，直接从Github 迁移单个key的数据 下面就举两个例子吧，其他的都差不太多。 我这里测试过迁移近17000000万条的数据，用时40多分钟。 尾巴 使用golang写的一个比较简单的工具, 主要用于在Redis没有持久化或多套Redis向一套Redis迁移的情况下使用。 希望对大家有用，谢谢！ 作者：宜信技术学院 王聪
1.9K20发布于 2020-11-03 - 来自专栏有趣的django
4.alembic数据迁移工具
alembic是用来做ORM模型与数据库的迁移与映射。 alembic revision --autogenerate -m "第一次提交" （6）将生成的迁移脚本映射到数据库中 alembic upgrade head 以后如果想要添加或修改模型，重复 -m:本次迁移做了哪些修改 upgrade:将指定版本的迁移文件映射到数据库中，会执行版本文件中的upgrade函数 head:代表当前的迁移脚本的版本号 downgrade:会执行指定版本的迁移文件中的 alembic upgrade head 2.FAILED:Can't locate revision identified by 'xxxxxxx' 原因：数据库中存的版本号不在迁移脚本文件中 解决办法：删除数据的alembic_version表中的数据，重新执行alembic upgrade head 1.3.current命令使用介绍 用alembic工具：数据库中会自动生成一张表
2.1K30发布于 2019-02-13 - 来自专栏第三方工具
10亿数据，如何做迁移？
10亿数据，如何做迁移？ 一、分而治之 若把数据迁移比作吃蛋糕，没人能一口吞下整个十层蛋糕； 必须切成小块细嚼慢咽。 二、双写 经典方案是停机迁移，但对10亿数据来说停机成本难以承受，双写方案才是王道。 双写的三种段位： 青铜级：先停写旧库→导数据→开新库 →风险：停机时间不可控 黄金级：同步双写+全量迁移→差异对比→切流 →优点：数据零丢失 王者级：逆向同步兜底（新库→旧库回写），应对切流后异常场景 三、用好工具 工具名称 适用场景 10亿数据速度参考 mysqldump 小型表全量导出 不建议（可能天级） MySQL Shell InnoDB并行导出 约2-4小时 DataX 多源异构迁移 回滚预案关键点： 备份快照：迁移前全量快照（物理备份+ Binlog点位） 流量回切：准备路由配置秒级切换旧库 数据标记：新库数据打标，便于清理脏数据 处理10亿数据的核心： 分而治之：拆解问题比解决问题更重要
25300编辑于 2025-05-29 - 来自专栏foochane
Sqoop数据迁移工具的使用
文章作者：foochane 原文链接：https://foochane.cn/article/2019063001.html Sqoop数据迁移工具的使用 sqoop简单介绍 sqoop数据到HDFS /HIVE sqoop数据到MySQL 1 sqoop简单介绍 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 sqoop只是一个工具，安装在那个节点都可以，只要有java环境和hadoop环境，并且能连接到对应数据库即可。 DEFAULT NULL, `deg` varchar(100) DEFAULT NULL, `salary` int(11) DEFAULT NULL, `dept` varchar(10 INT NOT NULL PRIMARY KEY, name VARCHAR(20), deg VARCHAR(20), salary INT, dept VARCHAR(10
3.9K30发布于 2019-07-01 - 来自专栏技术杂记
mysql 迁移10
监测进展 [root@slave02 data]# watch -n 2 du -sh /data/mysql/ 每两秒看一下数据目录大小 ---- 恢复完成 151209 03:57:34 [01]
2.5K20编辑于 2022-03-22 - 来自专栏技术杂记
mysql 迁移10
修改权限 [root@slave02 mysql]# cat xtrabackup_binlog_pos_innodb mysql-bin.000004 8299670 [root@slave02 mysql]# ll total 5916780 drwx------ 2 root root 4096 Dec 9 02:49 livedb drwx------ 2 root root 4096 Dec 9 02:57 mysqltest_his drwx------ 2 ro
42530编辑于 2022-03-22 - 来自专栏编程软文
Flyway数据迁移工具使用和安装
以前生产环境数据库增加字段是写一个sql放入本地，到时候部署生产环境的时候先手动执行sql，在部署项目。 Flyway数据迁移工具主要是用来控制数据库增删改的版本控制，类似于git,可是相比git代码管理，他的版本控制是通过数据库当中的flyway_schema_history来控制的，这样每次部署生产环境的时候就不需要人工再去执行 &serverTimezone=GMT%2B8 username: root password: root flyway: enabled: true # 禁止清理数据库表 clean-disabled: true # 如果数据库不是空表，需要设置成 true，否则启动报错 baseline-on-migrate: true # 与 baseline-on-migrate
2.2K20发布于 2020-03-24 - 来自专栏Python数据分析实例
跨库数据备份还原、迁移工具
本文实际业务场景：需要从客户处的生成数据库（如mysql数据库）备份数据表到本地的一个sqlserver库中，将生产数据库表复制还原过来。为了快速完成数据备份操作，于是我写了个同步迁移的代码。 当然也可以用数据库客户端界面可视化完成数据库的备份还原。 测试数据准备 本文还是利用上一篇文章的数据表，该数据存放在mysql数据库中。 SHOW FULL COLUMNS FROM system_info 代码结构 主函数db_backup.py完成数据库表同库、垮库的备份、同步、迁移功能，logging_conf.py日志记录模块 代码部分 数据库备份、迁移-db_backup.py 该模块主要方法：copy_to_from_mysql和mysql_sync_to_sqlserver。 (local_data, exist_ok=True) 数据库连接和路径获取工具-tools.py import os import pymysql import pymssql from settings
1.4K30编辑于 2022-04-08 - 来自专栏keinYe
Python 数据库迁移工具 Alembic
Alembic 是一款轻量型的数据库迁移工具，它与 SQLAlchemy 一起共同为 Python 提供数据库管理与迁移支持。 自动生成迁移脚本无需考虑数据库相关操作，只需完成 ROM 中相关类的编写即可，通过 Alembic 命令即可在数据库中自动完成数据表的生成和更新。 create_date 数据列，然后使用自动生成迁移脚本命令，查看我们的配置是否完成。 变更数据库 Alembic 最重要的功能是自动完成数据库的迁移「变更」，所做的配置以及生成的脚本文件都是为数据的迁移做准备的，数据库的迁移主要用到 upgrade 和 downgrade 子命令。 其内置了 Click 命令行程序，在 Flask 上可直接使用命令行工具进行数据库的迁移。关于 Click 的使用请参考 Python 命令行神器 Click。
4.2K10发布于 2019-11-10 多云redis数据迁移用什么工具
现实中，存在很多的场景，比如友商的redis数据，迁移到腾讯云，或者是本地的redis数据迁移到腾讯云。 这个时候，不可能指望通过传统的复制rdb文件的方式来迁移数据，第一点，腾讯云的redis的宿主机的密码你不一定能知道，第二点，RDB的格式的兼容性也是问题，不同版本的redis的RDB文件的兼容性也成为问题 因此，redis的数据迁移，应该使用技术上更加成熟，兼容性更高的工具来做。 这里推荐使用yunedit-redis来做redis的数据迁移，第一是它是可靠性高，采用标准的redis客户端协议，来做数据导出和导入的，不是直接复制文件，不存在版本间的兼容性问题；第二是它的速度非常快 然选择完zip文件后，会弹出要求我们选择目标redis要导入的db, 如下图：可以看出, 比如导出db0的数据，最终可以导入到db1里，都是可以选择的。这就是专业数据迁移工具的优势。
30410编辑于 2025-08-15- 来自专栏苏三说技术
给你10亿数据，如何做迁移？
文末留言送书了 前言 某次金融系统迁移项目中，原计划8小时完成的用户数据同步迟迟未能完成。 这让我深刻领悟到——10亿条数据不能用蛮力搬运，得用巧劲儿递接！ 今天这篇文章，跟大家一起聊聊10亿条数据，如何做迁移，希望对你会有所帮助。 ，但对10亿数据来说停机成本难以承受，双写方案才是王道。 (); } } 三、用好工具 不同场景需匹配不同的工具链，好比搬家时家具用货车，细软用包裹。 工具选型对照表 工具名称 适用场景 10亿数据速度参考 mysqldump 小型表全量导出 不建议（可能天级） MySQL Shell InnoDB并行导出 约2-4小时 DataX 多源异构迁移 依赖资源配置
39510编辑于 2025-02-21 - 来自专栏张浩的专栏
数据库迁移工具 Flyway 使用
Flyway 数据库迁移工具 它仅基于 7 个基本命令： Migrate、 Clean、 Info、 Validate、 Undo、 Baseline和 Repair。 迁移可以用SQL （支持特定于数据库的语法（如 PL/SQL、T-SQL 等））或Java （用于高级数据转换或处理 LOB）编写。 它有一个命令行客户端。 如果您在 JVM 上，我们建议使用Java API 在应用程序启动时迁移数据库。或者，您也可以使用Maven 插件 或Gradle 插件。 支持的数据库有 Oracle、 SQL Server（包括 Amazon RDS 和 Azure SQL 数据库）、 Azure Synapse（以前的数据仓库）、 DB2、 MySQL（包括 Amazon Spring Boot 集成 Flyway Spring Boot 官方提供了两款高级别的迁移工具：Flyway 和 Liquibase Flyway 集成 添加依赖 org.flywaydb:flyway-core
4.8K40编辑于 2022-05-14 - 来自专栏从ORACLE起航，领略精彩的IT技术。
Oracle 10g DG 数据文件迁移
背景：某客户Oracle 10g 的DG由于空间不足，之前将部分数据文件迁移到其他目录，如今原目录扩容成功，要将之前迁移的数据文件再次迁移回来。 alter database recover managed standby database cancel; Database altered. 3.备份copy副本到新目录并切换 **3.1 确认需要迁移的数据文件 ** 查看当前的数据文件，确认将9,10,11三个文件迁移回原来的目录： SQL> select file#, name from v$datafile; FILE# NAME ----- /datafile/dbs_data10.dbf 11 /datafile/dbs_data11.dbf 11 rows selected. 3.2 备份相关数据文件副本： 编写脚本 =======End at : Sat May 5 10:52:02 CST 2018======= 3.3 切换数据文件到copy副本： RMAN> list copy of database;
51310编辑于 2022-05-06 - 来自专栏时悦的学习笔记
数据库迁移比对小工具
这个专题分享点日常运维中用到的Python脚本 在做数据库迁移后，我们可能需要知道我们的表，索引，存储过程等对象是否迁移成功 这时可以用如下脚本来进行检查 ---- 环境准备 操作系统: Windows replace('\t',' ')) for k in migrate_from: diff2.append(k.strip().replace('\t',' ')) print ("未迁移过来的对象 \n") for j in diff2: if j not in diff1: print(j+'\n') print ("迁移后多余的对象\n") for l in diff1 注意一些索引和lob段迁移前后名称会不同 这时可以通过查询其主表是否相同来判断是否迁移成功 select * from dba_lobs where owner='IBIS'; select * from
1.4K20发布于 2020-08-19 - 来自专栏MySQL参数系列
你知道那几种数据迁移工具？
本文给大家列举一些常见的数据迁移工具清单，供大家参考。其他未列举的工具大家也可以留言补充。 1 原生静态迁移工具-如mysqldump 导出数据，导入用source或者mysql -e < xxx.sql 2 datax https://github.com/alibaba/DataX web www.cnblogs.com/softidea/p/12897530.html https://blog.csdn.net/wudufeng/article/details/78688240 4 dm tidb的迁移工具 5 mysql workbeach mysql workbeach自带数据迁移模块，支持常见几种数据库迁移至mysql。 6 flinkcdc、SeaTunnel 大数据相关产品，支持迁移的种类比较多。
84110编辑于 2023-10-19 - 来自专栏凯哥Java
【数据迁移工具】使用 kettle数据迁移从oracle到mysql的图文教程
老系统或其他系统使用的数oracle数据库，现在使用新系统，需要使用mysql数据库。但是之前数据也要迁移过来。那么这种请求下怎么办呢？我们可以使用kettle来进行数据迁移。 1：使用工具【pdi-ce-7.1.0.0-12】 一： kettle安装及运行 kettle官网下载地址,下载完毕后大概有800多m ? 2 数据库连接 将数据从oracle迁移到mysql，需要先在kettle中建立oracle和mysql数据库连接，注意mysql-connector-java-5.1.45.jar和ojdbc14- 按照下图操作，输入相关的数据连接参数 ? 3 最基本的导数据 导入数据的基本流程如下图，可以分为三个步骤，首先建立源数据库和目标数据库的连接，然后建立源数据表和目标数据表的映射关系，最后建立作业任务，执行。 ?
13.8K22发布于 2019-06-28 - 来自专栏Se7en的架构笔记
可视化数据同步迁移工具 CloudCanal
CloudCanal 是一款数据迁移同步工具，提供友好的可视化操作界面，支持多种数据源间的数据迁移、数据同步、结构迁移、数据校验。 准备数据 使用 Percona 公司提供工具来随机生成数据，github 地址：https://github.com/Percona-Lab/mysql_random_data_load/releases 执行以下命令下载并解压工具。 ) DEFAULT NULL, `tcol09` date DEFAULT NULL, `tcol10` datetime DEFAULT NULL, `tcol11` timestamp CloudCanal和Canal的区别 CloudCanal社区版高可用部署教程 CloudCanal社区版docker版安装(Linux/MacOS) 5分钟搞定 MySQL 到 MySQL "异构"在线数据迁移同步
7.6K43发布于 2021-09-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号