首页
学习
活动
专区
圈层
工具
发布

mysql 怎么批量导入数据

MySQL批量导入数据可以通过多种方式实现,以下是几种常见的方法:

1. 使用 LOAD DATA INFILE 命令

这是MySQL提供的一个非常高效的导入数据的命令,可以直接从文件中批量导入数据到数据库表中。

语法:

代码语言:txt
复制
LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name'
[REPLACE | IGNORE]
INTO TABLE tbl_name
[CHARACTER SET charset_name]
[{FIELDS | COLUMNS}
    [TERMINATED BY 'string']
    [[OPTIONALLY] ENCLOSED BY 'char']
    [ESCAPED BY 'char']
]
[LINES
    [STARTING BY 'string']
    [TERMINATED BY 'string']
]
[IGNORE number LINES]
[(col_name_or_user_var,...)]
[SET col_name = expr,...]

示例: 假设有一个名为 data.txt 的文件,内容如下:

代码语言:txt
复制
1,John,Doe
2,Jane,Smith

要将这些数据导入到 users 表中,可以使用以下命令:

代码语言:txt
复制
LOAD DATA INFILE 'data.txt'
INTO TABLE users
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
(id, first_name, last_name);

2. 使用 mysqlimport 工具

mysqlimport 是一个命令行工具,可以用来导入文本文件到MySQL数据库。

语法:

代码语言:txt
复制
mysqlimport [options] database textfile

示例:

代码语言:txt
复制
mysqlimport -u username -p database_name data.txt

3. 使用 INSERT INTO ... SELECT 语句

如果你已经有一个数据库表中的数据需要导入到另一个表中,可以使用 INSERT INTO ... SELECT 语句。

示例: 假设有两个表 source_table 和 destination_table,结构相同,可以使用以下命令:

代码语言:txt
复制
INSERT INTO destination_table (col1, col2, col3)
SELECT col1, col2, col3 FROM source_table;

4. 使用编程语言批量插入

你也可以使用编程语言(如Python、PHP等)来批量插入数据。

Python示例:

代码语言:txt
复制
import mysql.connector

mydb = mysql.connector.connect(
  host="localhost",
  user="yourusername",
  password="yourpassword",
  database="mydatabase"
)

mycursor = mydb.cursor()

sql = "INSERT INTO customers (name, address) VALUES (%s, %s)"
val = [
  ('John', 'Highway 21'),
  ('Peter', 'Lowstreet 4'),
  ('Amy', 'Apple st 652'),
  ('Hannah', 'Mountain 21'),
  ('Michael', 'Valley 345'),
  ('Sandy', 'Ocean blvd 2'),
  ('Betty', 'Green Grass 1'),
  ('Richard', 'Sky st 331'),
  ('Susan', 'One way 98'),
  ('Vicky', 'Yellow Garden 2'),
  ('Ben', 'Park Lane 38'),
  ('William', 'Central st 954'),
  ('Chuck', 'Main Road 989'),
  ('Viola', 'Sideway 1633')
]

mycursor.executemany(sql, val)

mydb.commit()

print(mycursor.rowcount, "records inserted.")

应用场景

  • 数据迁移:将数据从一个数据库迁移到另一个数据库。
  • 数据备份和恢复:定期备份数据并在需要时恢复。
  • 批量数据更新:一次性更新大量数据。

常见问题及解决方法

  1. 文件路径错误:确保文件路径正确,并且MySQL服务器有权限访问该文件。
  2. 字符集问题:确保文件和数据库表的字符集一致,避免乱码问题。
  3. 权限问题:确保执行导入操作的用户具有足够的权限。

参考链接

通过以上方法,你可以高效地将大量数据批量导入到MySQL数据库中。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

MySQL批量导入数据的问题

问题 之前的文章讲过了,如果想向MySQL快速的批量导入数据的话,最好的方法就是使用load data local in file "path" into table mytable 。...但是在最近的一次使用中,我发现,对于使用含有auto_increment字段的表,多次导入数据的时候,该字段的值会出现跳跃丢失。。。不知道是怎么一回事。下面是实验过程。...实验环境 mysql 5.7.12 实验步骤 一、创建一个简单的表: mysql> create table tmp(id int not null primary key auto_increment...二、创建一个数据文件in.txt: null 1 null 2 null 3 三、导入数据 第一次: mysql> load data local infile "in.txt" into...知道上的同学说是数据最后加了个空行;本来我还不相信,以为每条数据之后都要加个回车,但是仔细一研究果然是这样。

2.9K20
  • PHPEXCEL批量导入数据

    开发过程中有一些数据,如报表信息、财务统计等信息使用excel进行存储,需要将文件导入到数据库中,下面我们将以一个简单的小例子,演示批量导入。...使用thinkphp5.0版本框架结合phpexcel1.8版本进行演示批量导入数据至数据库中,下面为示例代码: /**  * 批量导入记录  */ public function push() {     ...getValue();         $data['m_status']  = 1;         $last_id      = $this->member_model->insert($data);//保存数据..."行导入成功";         } else {             echo "第" . $j . "行导入失败!...";         }     } } 注意:thinkphp框架,在进行循环插入时不要使用db类,数量多的情况下会出现创建进程过多的情况,导致写入失败,建议使用模型方法,测试10000条数据未出现问题

    2.9K11

    java入门019~springboot批量导入excel数据到mysql

    我们在前面的章节已经讲了如何用jpa或者mybatis来操作mysql数据库。这一节我们就来结合具体案例,来讲解下excel表格的上传,与excel表里数据的识别。...并把识别后的数据批量导入到mysql数据库 所用知识点 springboot 2.1.9 excel文件上传 excel数据批量识别 excel数据上传到mysql数据库 jpa的使用 jpa的使用我们在上一节已经给大家讲过了...,不知道如何创建的亲,记得去翻看上一节的文章:《java入门018~springboot2使用JPA操作mysql数据库》 一,创建一个springboot项目 1,使用idea创建springboot...file.getInputStream()); if (list == null || list.size() <= 0) { return "导入的数据为空...既然数据已经识别出来了,接下来就是通过一个for循环,把我们识别出来的5行数据,批量的存到数据里就可以了。 今天就先到这里,下一节来讲如何把这些数据存到mysql数据库里。

    6.8K32

    Elasticsearch —— bulk批量导入数据

    在使用Elasticsearch的时候,一定会遇到这种场景——希望批量的导入数据,而不是一条一条的手动导入。那么此时,就一定会需要bulk命令!...更多内容参考我整理的Elk教程 bulk批量导入 批量导入可以合并多个操作,比如index,delete,update,create等等。也可以帮助从一个索引导入到另一个索引。...(delete除外),其他的命令比如index和create都是由元信息行和数据行组成,update比较特殊它的数据行可能是doc也可能是upsert或者script,如果不了解的朋友可以参考前面的update...然后执行命令: curl -XPOST localhost:9200/_bulk --data-binary @data.json 就可以看到已经导入进去数据了。 ?...其他 由于bulk是一次性提交很多的命令,它会把这些数据都发送到一个节点,然后这个节点解析元数据(index或者type或者id之类的),然后分发给其他的节点的分片,进行操作。

    4.1K80

    Elasticsearch 批量导入数据3

    时百思不得其解,已经反复确认了数据格式无误,并且随机选取其中一些进行导入测试也没发现问题,但只要整体一导就出问题,而且每次都一样 [root@es-bulk tmp]# free -m...[root@es-bulk tmp]# ES和lucene是使用的JAVA,JAVA的内存分配大小决定了它们的发挥空间,这里的初始内存为 256M ,这也是大多数情况下的默认配置,但是应对当前的实际数据大小...265M 时就不够了,虽然官方说会尽量减小使用buffer,但实测下来,系统应该会是首先尽量使用内存,通过导入内存的方式来起到显著加速的效果,但是内存不够时,就直接报错退出了 解决内存不足有两种思路:...1.调整 Xms 和 Xmx 参数,使其适应业务需求,然后重启服务使之生效 2.将原来的数据切小,分批导入 第一种方式,要求停应用和业务,在某些情况下是不具备条件的(得统一协调时间窗口),那么就尝试使用第二种方式...再依次进行导入,就发现没问题了 [root@es-bulk tmp]# time curl -XPOST 'localhost:9200/stuff_orders/_bulk?

    1.3K60

    MySQL LOAD DATA INFILE—从文件(csv、txt)批量导入数据

    最近做的项目,有个需求(从Elastic Search取数据,业务运算后),每次要向MySQL插入1300万条数据左右。...最初用MySQL的executemany()一次插入10000条数据,统计的时间如下:  如上,插入时间由于系统的IO变化,会有波动,最快在4秒左右。  ...,就跳过嘛 (5)@dummy ,通过占位符,跳过不需要的数据 导入到表的column顺序必须和文件保持一致,通过@dummy可以跳过不需要的column(示例跳过totoal_flow_size 和...") mysqlcur.execute("SET SESSION sql_log_bin = 1") “DISABLE KEYS” 然后 “ENABLE KEYS”,笔者实际测试没什么用,只是导入数据更快...引用:  如何导入5亿条数据到mysql — https://derwiki.tumblr.com/post/24490758395/loading-half-a-billion-rows-into-mysql

    11.5K11

    Elasticsearch 批量导入数据1

    Elasticsearch 可以非常方便地进行数据的多维分析,所以大数据分析领域也经常会见到它的身影,生产环境中绝大部分新产生的数据可以通过应用直接导入,但是历史或初始数据可能会需要单独处理,这种情况下可能遇到需要导入大量数据的情况...这里简单分享一下批量导入数据的操作方法与相关基础,还有可能会碰到的问题,详细内容可以参考 官方文档 Tip: 当前的最新版本为 Elasticsearch 2.2.0 ---- 概要 ---- bulk...API ES提供了一个叫 bulk 的 API 来进行批量操作 它用来在一个API调用中进行大量的索引更新或删除操作,这极大的提升了操作效率 ---- 形式 API API 可以是 /_bulk, /...OK了) update 得接上要变更的局部数据,也得另起一行 文本指定 由于是批量操作,所以不太会直接使用命令行的方式手动指定,更多的是使用文件,如果使用文本文件,则得遵循如下格式 curl -s -XPOST...:9200/_bulk --data-binary "@requests" Tip: requests 是文件名 , -s 是静默模式,不产生输出,也可以使用 > /dev/null 替代 ---- 导入数据

    1.7K30

    Elasticsearch 入门: _bulk 批量导入数据

    批量导入数据 使用 Elasticsearch Bulk API /_bulk批量 update 步骤: 需求:我希望批量导入一个 movie type 的名词列表到 wordbank index 索引...准备数据: 根据官方文档,Json 数据要准备成这个格式的: action_and_meta_data\n optional_source\n action_and_meta_data\n optional_source...接下来准备这样的数据: {"index": {"_index": "wordbank", "_type": "movie", "_id": 1}} {"doc": {"name": "权力的游戏"}}...illegal_argument_exception","reason":"The bulk request must be terminated by a newline [\n]"},"status":400} 原因:批量导入的...解决:把输出结果导到文件 curl -s 'http://example.com' > /dev/null 据说不要重复指定 index 和 type:来源,可能是我数据量比较小,2w条,差距不大

    3.1K40

    MySQL批量导入数据时,为何表空间膨胀了N倍

    排查思路 对这篇文章 《叶问》第16期 有印象的话,应该还能记得,数据迁移(导入导出)过程中,也包括主从复制场景,导致表空间膨胀的原因有几种: MySQL表默认是InnoDB引擎且目前索引只支持B+树索引...数据表上没有自增ID作为主键,数据写入随机离散,page频繁分裂造成碎片率很高。 问题发现 顺着上面的思路,逐一排查,看能否定位问题原因。...根据batch size,分成多段并行读取数据;例如总共10000行数据,batch size是1000,则总共分为10次读取数据。...并顺手给负责SQL优化器的同学提了个feature request(MySQL bug#109087),希望能在遇到上述倒序INSERT的情况下,自动完成SQL改写,改倒序为正序(或者说,INSERT的顺序和表主键定义的顺序一致...Enjoy MySQL :) ---- 《深入浅出MGR》视频课程 戳此小程序即可直达B站 https://www.bilibili.com/medialist/play/1363850082?

    1.5K20

    网页实现批量数据导入功能

    场景        我有一批平铺数据放在txt文件,其量大概在10W条,接下来我们希望将这10W条记录进行切割获取,并且将单条数据分析校验,然后插入到DB中。...前提是我们使用的是HTTP文件上传方式来导入数据。...现在的问题是:如果用户直接上传,然后我们一条条数据读取、校验并将其插入数据库,这个过程将会耗费非常长的时间(大概在1小时以上),而这么长的时间等待会导致apache、nginx或者浏览器端(一般情况下是...1、使用本地读取文件数据方法,将数据分批次传递到服务端,服务端接手数据后处理返回,客户端获取到执行结果后批次的展示给用户结果。...这种方法用户无法实时的查看结果,服务端只能通过文件的大小来预估执行结束时间,这种方案的最大优点就是保证文件可以完成的上传和数据导入完成,缺点就是用户无法准确的知道执行结束的时间点。

    1.7K20

    PostGIS批量导入栅格数据

    如果我们有一批以文件存储的影像数据如何利用PostGIS批量的导出到PostgreSQL数据库中进行管理呢?...(单个数据的导入参见我上篇博文:PostGIS导入导出栅格数据) 我的实验环境如下: OS: Ubuntu 16.04 LTS PostgreSQL:9.5.5 PostGIS: 2.2...我们可以在raster2pgsql命令中使用通配符批量的导入数据到PostgreSQL数据库,命令如下: (具体参数可自行查看命令的帮助文档) raster2pgsql -s 4326 -I -C...进入数据库可以查看我们导入的数据表 ? 通过SQL进行查看,发现每个文件被分割成了225块。...---- 最后,说说怎么导出数据到文件。和上一篇博文一样,我们还是使用Python脚本进行导出。这里主要用到了两个函数ST_AsTIFF和ST_Union。

    3.1K20
    领券