首页
学习
活动
专区
圈层
工具
发布

MySQL LOAD DATA INFILE—从文件(csv、txt)批量导入数据

最近做的项目,有个需求(从Elastic Search取数据,业务运算后),每次要向MySQL插入1300万条数据左右。...最初用MySQL的executemany()一次插入10000条数据,统计的时间如下:  如上,插入时间由于系统的IO变化,会有波动,最快在4秒左右。  ...后改为"load data infile"大概,10万条数据平均1秒~1.5秒,实际的代码示例如下: query = "LOAD DATA INFILE '/var/lib/mysql-files/es.csv...需要开启对"load data inflie"的权限支持     mysqlcur.execute("SET GLOBAL local_infile = 1") (2)需要对mysql文件目录(笔者:...()导出的csv是带标题的,如下: 不需要标题导入到数据库,就跳过嘛 (5)@dummy ,通过占位符,跳过不需要的数据 导入到表的column顺序必须和文件保持一致,通过@dummy可以跳过不需要的column

11.5K11

【重学 MySQL】五十、添加数据

使用LOAD DATA INFILE语句批量添加数据 当需要快速地从文件中加载大量数据到表中时,可以使用LOAD DATA INFILE语句。...LINES TERMINATED BY '\n' IGNORE 1 ROWS; 其中,filename.csv是要加载的文件名,table_name是要将数据插入的目标表,FIELDS TERMINATED...BY ','指定字段分隔符,ENCLOSED BY '"'指定字段值被引号包围,LINES TERMINATED BY '\n’指定行分隔符,IGNORE 1 ROWS用于忽略文件中的标题行。...@example.com 可以使用以下SQL语句将数据从data.csv文件中加载到users表中: LOAD DATA INFILE 'data.csv' INTO TABLE users FIELDS....; 注意事项 在插入数据之前,请确保已经连接到MySQL数据库,并且选择了要操作的数据库。 插入的数据必须与目标表的列类型和约束相匹配。如果插入的数据出现错误,MySQL将会返回错误消息。

1.4K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL 数据导入与导出的深入解析

    应用场景 数据迁移:将 MySQL 数据导出为 CSV 文件以导入到其他数据库或数据分析工具。 数据备份:快速生成可读性高的备份文件。 数据共享:将结果导出供第三方使用。...二、数据导入:LOAD DATA INFILE LOAD DATA INFILE 命令用于快速将文件中的数据加载到数据库表中,是一种高效的数据批量插入方法。...基本语法 LOAD DATA INFILE '文件路径' INTO TABLE 表名 [选项] 示例 从 CSV 文件中导入数据到 user 表: LOAD DATA INFILE '/tmp/user_data.csv...IGNORE n LINES:忽略前 n 行数据,用于跳过文件中的标题行。...常见问题 文件读取失败:通常由于文件路径错误或 MySQL 用户权限不足。 数据格式不匹配:文件中的字段顺序或数据类型与表结构不一致会导致导入失败。

    1.6K10

    故障分析 | MySQL 使用 load data 导入数据错误的一个场景

    同事提了一个MySQL数据导入的问题,使用load data将本地文件(.csv)导入数据库表的时候,提示这个错误, | Warning | 1265 | Data truncated for column...的错误, bisal@mysqldb 18:50: [test]> load data local infile '/home/mysql/online.csv' into table t fields...,虽然导入了文件中的5条记录,但日期字段,都给截断了,存储的是空值, 图片 (2)第二次尝试 从(1)的指令看,要将文件online.csv的数据,按照","分隔,导入t表的字段中,其中c1和c3是datetime...(@c3,'%Y-%m-%d%H:%i:%s'), 因此,load data指令中()括号内的字段,应该使用变量, load data local infile '/home/mysql/online.csv...local infile '/home/mysql/online.csv' into table t fields -> terminated by ',' lines terminated

    2.8K30

    数据导入利器:MySQL LOAD DATA LOCAL INFILE vs. source命令对比解析

    简介 MySQL的LOAD DATA LOCAL INFILE是一个用于将本地文件数据加载到数据库表中的功能。 优点 1....高效:相比使用INSERT语句逐行插入数据,LOAD DATA LOCAL INFILE可以实现批量导入数据,速度更快。 3....安全风险:由于LOAD DATA LOCAL INFILE允许从本地文件系统中加载数据,可能存在安全风险。如果恶意用户能够执行该命令,可能会导致数据泄露或破坏。 2....语法: • LOAD DATA LOCAL INFILE:这是一个 SQL 语句,用于从本地文件系统加载数据到数据库表中。...可以用于执行创建表、插入数据、更新数据等多个操作。 1. 文件路径: • LOAD DATA LOCAL INFILE:需要指定完整的本地文件路径,并且 MySQL 服务器需要有权限读取该文件。

    3.1K20

    ⑩③【MySQL】详解SQL优化

    个人简介:Java领域新星创作者;阿里云技术博主、星级博主、专家博主;正在Java学习的路上摸爬滚打,记录学习的过程~ 个人主页:.29.的博客 学习社区:进去逛一逛~ SQL优化 ⑩③【MySQL...: 如果一次性需要插入大批量数据,使用insert语句插入性能较低,此时可以使用MySQL数据库提供的load指令进行插入。...操作如下: # (命令行)客户端连接数据库时,加上参数: --local-infile mysql --local-infile -u root -p -- 查看从本地加载文件导入数据的开关是否开启 select...@@local_infile; -- 设置全局参数local_infile为1,表示开启从本地加载文件导入数据的开关。...set global local_infile=1; -- 执行load指令将准备好的数据,加载到表结构中 -- 加载文件: /root/sql.log 中的数据插入表 -- 字段间使用 逗号','

    87140

    41 | 复制表

    不过类似换行符、制表符这类符号,前面都会跟上“\”这个转义符,这样就可以跟字段之间、数据行之间的分隔符区分开。...导入: load data infile '/server_tmp/t.csv' into table db2.t; 这条语句的执行流程: 打开文件 /server_tmp/t.csv,以制表符 (\t...) 作为字段间的分隔符,以换行符(\n)作为记录之间的分隔符,进行数据读取; 启动事务。...由于 /server_tmp/t.csv 文件只保存在主库所在的主机上,如果只是把这条语句原文写到 binlog 中,在备库执行的时候,备库的本地机器上没有这个文件,就会导致主备同步停止。...再执行 load data 语句,往备库的 db2.t 表中插入跟主库相同的数据。 注意,这里备库执行的 load data 语句里面,多了一个“local”。

    1.5K20

    MySQL – LOAD DATA LOCAL INFILE将数据导入表中

    更多的相关内容,大家可以参照官网 二.数据分隔符 fields关键字指定了文件记段的分割格式,如果用到这个关键字,MySQL剖析器希望看到至少有下面的一个选项: terminated by 以什么字符作为分隔符...,CSV文件可以忽略掉第一行标题 三.实战 示例1:LOAD DATA LOCAL INFILE导入txt文件 1.1数据准备 首先我们创建一个milo.xlsx文件,准备数据如下图: ?...**注意:**需要注意表字段需要对应数据中的id和name; 1.2 数据导入 load data local infile 'F:\\milo.txt' into table test fields...示例2:LOAD DATA LOCAL INFILE导入csv文件 2.1数据准备 首先我们创建milo.csv文件,如下图所示 ?...2.2数据导入 LOAD DATA LOCAL INFILE 'F:\\milo.csv' INTO TABLE test FIELDS TERMINATED BY ',' ENCLOSED BY '

    6.1K20

    让其加载数据文件 (CSV) 变得更快

    使用 LOAD DATA INFILE 将任何大型 CSV 文件加载到 MySQL 服务器是一个非常耗时的过程,因为它是单线程的,而且也是单个事务,它无法充分利用到多核CPU的处理能力,已成为瓶颈。...现在你可以通过甲骨文的mysqlsh客户端,让其加载数据文件 (CSV) 变得更快!..."/data/mysql/hechunyang1/tmp/sbtest1.csv": 这是要导入的CSV文件的路径。 {}: 这是一个JavaScript对象,包含了导入数据的配置选项。...dialect: "csv-unix": 指定了CSV文件的格式,这里是Unix风格的CSV格式。这个参数告诉MySQL Shell如何解析CSV文件的结构。...sbtest1.csv文件是(1.96 GB,1000万行记录) ,导入耗时: 3 分 16 秒而如果直接使用LOAD DATA INFILE命令导入数据导入耗时:5 分 31 秒

    1.4K10

    教你使用Python玩转MySQL数据库,大数据导入不再是难题!

    3、SQL基本语法 下面要用SQL的表创建、查询、数据插入等功能,这里简要介绍一下SQL语言的基本语句。...表名称(列名1 (数据类型1),列名2 (数据类型2)); 插入数据:INSERT INTO 表名称(列名1,列名2) VALUES(数据1,数据2); 查看数据:SELECT * FROM 表名称;...样本CSV文件如下: 总体工作分为3步: 1、用python连接mysql数据库; 2、基于CSV文件表格字段创建表; 3、使用load data方法导入CSV文件内容。...sql的load data语法简介: LOAD DATA LOCAL INFILE 'csv_file_path' INTO TABLE table_name FIELDS TERMINATED BY...,database='evdata'): #打开csv文件 file = open(csv_file_path, 'r',encoding='utf-8') #读取csv文件第一行字段名

    1.8K20

    MySQL数据库原理学习(十七)

    (比如: 几百万的记录),使用insert语句插入性能较低,此时可以使用MySQL数据库提供的load指令进行插入。...操作如下: 可以执行如下指令,将数据脚本文件中的数据加载到表结构中: -- 客户端连接服务端时,加上参数 -–local-infile mysql –-local-infile -u root -p...-- 设置全局参数local_infile为1,开启从本地加载文件导入数据的开关 set global local_infile = 1; -- 执行load指令将准备好的数据,加载到表结构中CREATE...设置参数 -- 客户端连接服务端时,加上参数 -–local-infile mysql –-local-infile -u root -p -- 设置全局参数local_infile为1,开启从本地加载文件导入数据的开关...set global local_infile = 1; C. load加载数据 load data local infile '/root/load_user_100w_sort.sql' into

    65210

    网络工程师需要懂的基本SQL命令、表命令

    原字段名 新字段名 新数据类型; 表记录的操作 增删改查 1.插入(insert) insert into 表名 values(值1), (值2),(.).....示例:将×××.csv导入到数据库中 (1)先在数据库中创建对应的表 create table score( 字段名 数据类型, … )character set utf8; (2)执行数据导入 (3...(采用tab判断路径正确性) sudo cp ~/×××.csv /var/lib/mysql-files/ sudo ls /var/lib/mysql-files/ 查看一下有没有复制成功 (5)执行数据导入语句...load data infile “/var/lib/mysql-files/×××.csv” into table score fields terminated by “,” lines terminated.../ (2)执行数据导出语句: select 字段1, 字段2, 字段3 from 库名.库内的表名 into outfile “/var/lib/mysql-files/×××.csv” fields

    1.4K00

    MySQL数据库基础——本地文件交互

    以下仅涉及MySQL中使用命令行语句导入/导出本地磁盘的文本文件(csv\txt文件)。 文件导入(csv): 在导入本地文件之前,请确保你的MySQL设置有本地文件导入导出权限。...在导入MySQL之前,需要在指定数据库中先建立空表,以备之后导入。...导入本地CSV文件: load data local infile 'D:/President.csv' into table db1.president -- 导入本地文件语句 -- character...除此之外,还有几个基础的增删命令需要掌握: 插入命令: INSERT INTO president (LastName, Address) -- 插入列名称VALUES (...本文小结: 文件导入(txt\csv) 数据导出(TXT\csv) 表创建 表删除 记录插入 往期案例数据请移步本人GitHub: https://github.com/ljtyduyu/DataWarehouse

    9.3K120

    MySQL数据库进阶-SQL优化

    专栏系列:MySQL数据库进阶 前言 在看此篇前,建议先阅读MySQL索引,对索引有个基本了解:MySQL数据库进阶-索引-CSDN博客 在进行SQL优化前,我们必须先了解SQL查询的性能分析,为什么这条...,filtered的值越大越好 SQL 优化 插入数据 普通插入: 采用批量插入(一次插入的数据不建议超过1000条) 手动提交事务 主键顺序插入 大批量插入: 如果一次性需要插入大批量数据...,使用insert语句插入性能较低,此时可以使用MySQL数据库提供的load指令插入。...# 客户端连接服务端时,加上参数 --local-infile(这一行在bash/cmd界面输入) mysql --local-infile -u root -p # 设置全局参数local_infile...为1,开启从本地加载文件导入数据的开关 set global local_infile = 1; select @@local_infile; # 执行load指令将准备好的数据,加载到表结构中 load

    1.3K10

    MySQL实战第四十一讲- 怎么最快地复制一张表?

    为了便于说明,我还是先创建一个表 db1.t,并插入 1000 行数据,同时创建一个相同结构的表 db2.t。...导出 CSV 文件 另一种方法是直接将结果导出成 .csv 文件。MySQL 提供了下面的语法,用来将查询结果导出到服务端本地目录。...load data infile '/server_tmp/t.csv' into table db2.t; 这条语句的执行流程如下所示。 1....打开文件 /server_tmp/t.csv,以制表符 (\t) 作为字段间的分隔符,以换行符(\n)作为记录之间的分隔符,进行数据读取; 2. 启动事务; 3....由于 /server_tmp/t.csv 文件只保存在主库所在的主机上,如果只是把这条语句原文写到 binlog 中,在备库执行的时候,备库的本地机器上没有这个文件,就会导致主备同步停止。

    2.9K20

    【MySQL百日打怪升级第15天】INSERT 批量插入的最佳实践:别再逐条 INSERT 了!

    【第15天】每天一个MySQL知识点,百日打怪升级INSERT批量插入的最佳实践:别再逐条INSERT了!大家好,我是一名拥有10年以上经验的DBA老兵,没有那多。...一次插入1万行跟一次插入100行的区别,比你以为的大得多。说个真事。有次我接到一个工单,业务方说数据导入特别慢,20万行数据插了快40分钟。...今天的目标:搞懂为什么逐条INSERT慢,以及批量插入的正确姿势。核心概念一条INSERT的背后,MySQL在忙什么?...这从来就没有标准答案,但我给你三个经验值:场景建议批量大小原因普通行(几个字段,无大字段)500-1000行多数场景的甜点区间行宽较大(含text/longtext)100-300行避免事务日志过大CSV...行有text字段?

    1K10

    干货|MySQL增、删、改查性能优化的10个小技巧

    前言   上一篇介绍了4种进行MySQL性能优化排查的小技巧,本篇就通过从增、删、改、查的语法中如何进行优化,帮助大家更好理解MySQL语法,进行性能优化。...(百万数据十几秒),此时则使用load命令来进行插入数据,mysql原生支持大数据量插入,性能非常高) load命令的使用: 如果是命令行连接,需要指定客户端需要执行本地文件,在连接中添加:--local-infile...服务端开启load指令支持:set grobal local_infile=1 语法:load data local infile '文件路径' into table '表名' fields...teminated by '字段分割符号' lines teminated by '行分割符号' 主键优化 数据组织方式:   在MySQL的InnoDB引擎中,表数据都是根据主键顺序组织存放的...博主最近开源了一个名为“轮子之王”的项目,其中集成了开发中常用的各项功能(现已集成有:csv、excel、ftp、文件服务器等导入导出轮子),有兴趣的小伙伴可以通过下面的地址跳转看看,希望能够帮助大家提高开发效率

    2.6K10
    领券