首页
学习
活动
专区
圈层
工具
发布

mysql批量添加万条数据

基础概念

MySQL 批量添加数据是指通过一次 SQL 语句向数据库表中插入多条记录,而不是逐条插入。这种方式可以显著提高数据插入的效率,减少与数据库的交互次数。

相关优势

  1. 提高性能:批量插入减少了与数据库的通信开销,提高了数据插入的速度。
  2. 减少锁竞争:批量插入可以减少对表的锁定时间,降低锁竞争的风险。
  3. 简化代码:通过一条 SQL 语句完成多条记录的插入,简化了代码逻辑。

类型

  1. 使用 INSERT INTO ... VALUES 语法:
  2. 使用 INSERT INTO ... VALUES 语法:
  3. 使用 LOAD DATA INFILE 语法:
  4. 使用 LOAD DATA INFILE 语法:

应用场景

批量添加数据适用于需要一次性插入大量数据的场景,例如:

  • 数据迁移
  • 数据初始化
  • 日志记录
  • 大数据分析

示例代码

假设我们有一个名为 users 的表,结构如下:

代码语言:txt
复制
CREATE TABLE users (
    id INT AUTO_INCREMENT PRIMARY KEY,
    name VARCHAR(255),
    email VARCHAR(255)
);

我们可以使用以下 SQL 语句批量插入数据:

代码语言:txt
复制
INSERT INTO users (name, email)
VALUES 
('Alice', 'alice@example.com'),
('Bob', 'bob@example.com'),
('Charlie', 'charlie@example.com'),
...

遇到的问题及解决方法

问题:批量插入数据时速度慢

原因:

  1. 网络延迟:数据库服务器与应用服务器之间的网络延迟。
  2. 磁盘 I/O:数据库服务器的磁盘 I/O 性能不足。
  3. 事务开销:如果批量插入操作在一个事务中,事务开销可能会影响性能。

解决方法:

  1. 优化网络:确保数据库服务器与应用服务器之间的网络连接稳定且低延迟。
  2. 提升磁盘 I/O:使用 SSD 硬盘,或者将数据库迁移到高性能存储系统。
  3. 分批插入:将大批量数据分成多个小批次插入,减少单次事务的开销。

问题:批量插入数据时遇到主键冲突

原因:

  1. 自增主键冲突:如果使用自增主键,且插入的数据中存在重复的自增值。
  2. 唯一索引冲突:如果表中有唯一索引,插入的数据违反了唯一性约束。

解决方法:

  1. 使用 INSERT IGNORE 或 REPLACE INTO:
  2. 使用 INSERT IGNORE 或 REPLACE INTO:
  3. 预先生成主键值:在应用层预先生成主键值,避免自增主键冲突。

参考链接

希望以上信息对你有所帮助!

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

PHP批量添加数据

DB_NAME, DB_PORT); $sqli->query( "SET NAMES ".DB_CHAR ); ini_set("max_execution_time", "30"); /** * 批量添加...sqli->query( } /** * 批量添加 方法2 * 使用事务提交,批量插入数据库(每隔10W条提交下) */ $sqli->query( 'start transaction' );...commit transaction'); $sqli->query('begin'); } } $sqli->query('commit transaction'); /** * 批量添加...不到一分钟执行完毕 */ 注意 1:PHP的代码执行时间 max_execution_time = 200000 2:PHP每一次执行请求的内存空间 memory_limit = 1G 3:mysql...接收的最大数据包 max_allowed_packet = 1G 最后总结下,在插入大批量数据时, 第一种方法无疑是最差劲的, 第二种方法在实际应用中就比较广泛, 第三种方法在插入测试数据或者其他低要求时比较合适

2.5K10
  • MySQL快速导入千万条数据(2)

    接上文,继续测试3000万条记录快速导入数据库。...一、导入前1000万条数据清库、建库、新建表结构、导入前1000万条数据,结果:■ 1000万行,有2索引导入耗时:16分钟Query OK, 9999966 rows affected, 5920 warnings...二、导入前2000万条数据清库、建库、新建表结构、导入前2000万条数据,结果:■ 2000万行,无 索引导入耗时:45分钟Query OK, 19999966 rows affected, 5920...三、导入后面的1000万条数据由于一次导入千万条数据性能较低,因此决定把后面的1000万行,拆分为两部分,分两次导入,如下操作:split -l 6000000 mysql_ab mysql_ab_得到两个文件...五、总结纵观以上测试,导入3000万条数据耗时73分钟,如果将SQL文件拆分为单个文件500万条以内,可能会耗时更短,也许能控制在60分钟以内,如果电脑配置更高,则会更快。

    2.6K20

    MySQL快速导入千万条数据(1)

    对于传统的关系数据库如oracle,在大量数据导入方面的效率,我们一般有一个大概的认知,即1分钟以内可以导入千万条数据,而对于MySQL数据库,普遍观点以为性能相对较差,尤其时对于千万级别的数据量,几十分钟...在普遍去IOE的今天,最难的去O也已经势在必行,所以探讨测试一下MySQL的大数据量导入非常有必要。...事实上我们的各个新建项目由于采用了MySQL数据库,在备份恢复时,便会面临大量数据的逻辑导出与导入需求。...("`date "+%Y%m%d-%H:%M:%S"`")"chmod +x dumpin.sh取出前50万行:head -500000 mysql.sql > mysql2.sql修改文件内容,加入批量提交语句...好,现在你还会说,MySQL数据库大批量数据导入性能较差吗?下一步继续测试这3000万条数据全部导入的情况。

    3.8K40

    Crowd 批量添加用户(Postman 数据驱动)

    背景 最近公司大量新员工入职,需要批量创建 Crowd 用户、设置密码、分配应用组等机械性重复工作(主要还是懒~),故把这个加餐任务分配给刚来的测试同学去研究。...一是:让他了解下 Postman 的数据驱动,RESTful api 的相关基础知识;二是:考察下新员工独立完成任务的能力;三是我比较懒~。...Postman 数据驱动 curl 命令方式导入到 Postman,测试添加单个用户 数据驱动批量添加用户 curl 命令方式导入 Postman Postman 支持使用 curl 命令方式导入。...Postman 数据驱动批量添加用户 创建 Collections,添加 api 设置全局变量 password。 ? body 字段参数化。...crowd 添加成功。 ? ?

    1.8K40

    RPA+数据库:批量处理百万条数据,比脚本更稳更快

    这件事让我重新思考:当数据量从"万级"跃升到"百万级",脚本和自动化工具到底差在哪?二、百万级数据处理的三大痛点2.1 连接池撑不住:一次性加载百万条的代价传统脚本一次性拉取百万条数据,内存直接爆炸。...比如你要从MySQL读取数据,清洗后写入PostgreSQL,再生成Excel发邮件——这一套下来,脚本代码可能上千行。...,性能极差;没有断点续跑机制,崩了就得重来;更没有脏数据隔离,一条异常记录可能毁掉整批百万条数据批量处理任务。...4.3 流程自动化方案:分批+容错+自愈下面是一个经过工程化改造的完整数据库批量处理方案。核心思路:分批读取、批量提交、异常隔离、断点续跑。...,数据不出本地百万级耗时约45分钟(含调试)约30分钟(稳定运行)注:以上数据基于MySQL 8.0、单表120万条记录、本地SSD的测试环境。

    25000

    13 秒插入 30 万条数据,批量插入正确的姿势!

    循环逐条插入 MyBatis实现插入30万条数据 JDBC实现插入30万条数据 总结 验证的数据库表结构如下: CREATE TABLE `t_user` ( `id` int(11) NOT NULL...实现 30 万条数据插入代码实现: /** * 分批次批量插入 * @throws IOException */ @Test public void...把批处理的量再调大一些调到5000,在执行: 13秒插入成功30万条,直接芜湖起飞 # JDBC实现插入30万条数据 JDBC循环插入的话跟上面的mybatis逐条插入类似,不再赘述。...# 总结 实现高效的大量数据插入需要结合以下优化策略(建议综合使用): 1.批处理:批量提交SQL语句可以降低网络传输和处理开销,减少与数据库交互的次数。...在没有使用数据库连接池的情况,记得在finally中关闭相关连接。 数据库参数调整:增加MySQL数据库缓冲区大小、配置高性能的磁盘和I/O等。

    2.8K11

    MySQL大批量造数据

    MySQL大批量造数据 目录 1、前言 2、什么是存储过程 3、存储过程批量造数据 1、前言 有时候往数据库里批量造数据,是为了某些测试前的必要条件。...一般批量造数据有以下几种方式: 1、通过接口请求方式批量造数据 2、开发脚本(Java、Python等)进行批量造数据 3、使用 Jmeter 的 MySQL 脚本发起批量造数据 4、通过 MySQL...的存储过程造数据 本篇采用 MySQL 的存储过程方式来进行批量造数据。...2、批量处理:SQL+循环,减少流量,也就是“跑批”。 3、统一接口,确保数据的安全。 3、存储过程批量造数据 使用 MySQL 客户端工具(例如 HeidiSQL)连接数据库。...添加10条信息(新增语句重复执行),过程体语句: BEGIN DECLARE i INT; SET i = 1; WHILE i <= 10 DO INSERT INTO `my_test`.

    2.6K00

    MySQL批量导入数据的问题

    问题 之前的文章讲过了,如果想向MySQL快速的批量导入数据的话,最好的方法就是使用load data local in file "path" into table mytable 。...实验环境 mysql 5.7.12 实验步骤 一、创建一个简单的表: mysql> create table tmp(id int not null primary key auto_increment...二、创建一个数据文件in.txt: null 1 null 2 null 3 三、导入数据 第一次: mysql> load data local infile "in.txt" into...知道上的同学说是数据最后加了个空行;本来我还不相信,以为每条数据之后都要加个回车,但是仔细一研究果然是这样。...加了空行后,这一行数据的值会为默认值,而且自增Id的值也会出现问题,就像上面描述的这样;而把最后的回车删除之后,结果就没有问题了。。。

    2.9K20
    领券