首页
学习
活动
专区
圈层
工具
发布

把MongoDB的全量数据导入到MySQL里

把MongoDB的全量数据导入到MySQL里借助开源DuckDB - 嵌入式DB的OLAP类型(采用列式存储)充当ETL工具http://duckdb.org/功能概述:- 无需安装,就一个启动文件duckdb...- 支持映射MySQL数据库,直接在本地读写MySQL表数据- 支持读取本地json文件- 没有端口号,本地运行To Do List:第一步,导出MongoDB的t1表shell> /usr/local...* FROM read_json_auto('t1.json');#注:会根据json文件内容,自动创建表结构第四步,映射远端MySQL hh库,并起一个数据库别名mysql_hhduckdb> ATTACH...);第五步,从DuckDB里取出me库t1表的数据写入远端MySQL hh库的t1表里duckdb> create table mysql_hh.t1 as SELECT * EXCLUDE('_id'...) FROM me.t1;#注:这里排除掉_id列(mongodb默认的主键自增列)第六步,现在你回到MySQL里,查看hh库的t1表,数据已经全部导入进去了。

1.3K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    给你 2 万条数据,怎么快速导入到 MySQL?

    以前单库单表的时候只需要利用数据库特性进行自增即可,现在因为是各自独立的库表,数据库之间的主键自增无法进行交互,比如数据库1的订单明细表主键自增到了1001,数据库2的订单明细表主键现在是1000,如果现在往数据库...2的订单明细表中插入一条数据,这个时候获取到的主键ID会是1001,这样就会造成业务上的主键冲突。...靠数据库的主键自增是无法做到了。如何解决这个问题呢?可以给项目中引入一个全局唯一的ID服务,这个服务就是用来生成全局唯一ID的,每次生成的ID都不一样,可以保证主键的唯一性。...最好趋势递增,这个要求就得看具体业务场景了,一般不严格要求常用的全局ID算法如下:雪花算法Snowflake百度uid-generator美团Leaf滴滴Tinyid雪花算法雪花算法的结构:支撑百万并发的数据库架构如何设计...至于怎么能让这个东西保持唯一且自增。就要打开自己的脑洞了。可以看到雪花算法中是基于 synchronized 锁进行实现的。

    1.3K20

    如何把.csv文件导入到mysql中以及如何使用mysql 脚本中的load data快速导入

    1, 其中csv文件就相当于excel中的另一种保存形式,其中在插入的时候是和数据库中的表相对应的,这里面的colunm 就相当于数据库中的一列,对应csv表中的一列。...2,在我的数据库表中分别创建了两列A ,B属性为varchar。 3,在这里面中,表使用无事务的myISAM 和支持事务innodb都可以,但是MyISAM速度较快。...table demo fields terminated by ',' enclosed by '\\'' lines terminated by '\\r\\n'  (`A`,`B`) "; 这句话是MySql...的脚本在java中的使用,这个插入速度特别快,JDBC自动解析该段代码进行数据的读出,并且插入到数据库。...如果要使用load data直接进行执行一下这句话,(不过要记得更改成自己的文件名  和 表名)就可以把文件中的内容插入,速度特别快。

    9.7K40

    excel中的数据如何导入到数据库对应的表中

    中的数据导入到数据库对应的表中,若是挨个编写SQL会非常繁琐,下面介绍如何一次性导入成千上万,乃至数十万条数据> Step1: 首先我们需要将excel...中的数据按照对应的表的字段进行编辑格式,如下图方框圈起来的地方所示 Step2 点击上图中的文件–>另存为–>格式选择"文本文件(制表符分隔)(*.txt)",并写上名字 Step3: 进入到...PLSQL中,链接数据库后,选择"工具"–>“文本导入器” Step4 点击"文件导入"–>选择刚生成的txt文件,并确定 界面中会显示出一部分txt中的数据,包括字段及值,查看字段是否正确...excel中的"筛选"将带有空格的数据删掉; (2)若是使用wps等软件将pdf中的数据转成excel的数据,一定要注意可能会将带有’1.'...的数据转为L以及会将数据中添加空格,一定要用"查找–替换"功能处理一遍; Mon 21 Mon 28 Mon 04

    5.6K10

    【实战】使用 Kettle 工具将 mysql 数据增量导入到 MongoDB 中

    放弃不难,但坚持很酷~ 最近有一个将 mysql 数据导入到 MongoDB 中的需求,打算使用 Kettle 工具实现。...符合过滤条件的数据,增加常量,并将其导入到 mongoDB 中。 不符合过滤条件的数据,增加常量,将其导入到 Excel 表中记录。...Database:检索数据的数据库的名称。点击 “Get DBs” 按钮以获取数据库列表。 Collection:集合名称。点击 “Get collections” 按钮获取集合列表。...2、表输入 设置 mysql 数据库 jdbc 连接后,填好 SQL 语句之后,在下方的“从步骤插入数据”下拉列表中,选中“MongoDB input”。...可以在 linux 上写一个定时任务去执行这个转换,每次转换 mysql 都会将大于 mongoDB 集合中 business_time 字段最大值的数据增量导入到 MongoDB 中。

    7.8K30

    Sqlldr把文本文件导入到ORACLE中

    查看执行的效率 4.1 查看导入到ORACLE数据的效率 4.2 查看统计的日志 5 效率总结 1 查看命令参数 $ sqlldr --help 有效的关键字: userid -- ORACLE...默认 0) load -- 要加载的逻辑记录的数目 (全部默认) errors -- 允许的错误的数目 (默认 50) rows -- 常规路径绑定数组中或直接路径保存数据间的行数...(默认: 常规路径 64, 所有直接路径) bindsize -- 常规路径绑定数组的大小 (以字节计) (默认 256000) silent -- 运行过程中隐藏消息...control=load.ctl log=test-log.log bad=bad.log errors=5000 rows=1000 bindsize=10485760 4 查看执行的效率 4.1 查看导入到...,按以上计算9415010/615 = 15308 / S 如果把参数rows修改为10000 bindsize修改为804857600 ,用时是:00:08:37.85 , 平均 9415010/

    2.5K10

    .NET Core使用NPOI将Excel中的数据批量导入到MySQL

    前言:   在之前的几篇博客中写过.NET Core使用NPOI导出Word和Excel的文章,今天把同样我们日常开发中比较常用的使用Excel导入数据到MySQL数据库中的文章给安排上。...二、ASP.NET Core使用EF Core连接MySQL执行简单的CRUD操作:   因为该篇文章会涉及到MySQL数据库的操作,所以前提我们需要有一点的CRUD的基础。...: 注意,咱们填写在Excel单元格中的数据可能为多种不同的数据类型,因此我们需要对单元格中的数据类型做判断然后在获取,否则程序会报异常。...Core使用NPOI导出复杂Word详解: https://www.cnblogs.com/Can-daydayup/p/11588531.html .NET Core使用NPOI将Excel中的数据批量导入到...MySQL: https://www.cnblogs.com/Can-daydayup/p/12593165.html ASP.NET Core MVC+Layui使用EF Core连接MySQL

    7.4K20
    领券