首页
学习
活动
专区
圈层
工具
发布

mysql批量插入数据测试性能

基础概念

MySQL 批量插入数据是指在一次数据库操作中插入多条记录,而不是逐条插入。这种操作通常用于提高数据插入的效率,特别是在需要插入大量数据时。

优势

  1. 提高性能:批量插入可以显著减少与数据库的交互次数,从而提高插入速度。
  2. 减少网络开销:每次插入操作都会产生一定的网络开销,批量插入可以减少这种开销。
  3. 减少锁竞争:批量插入可以减少数据库表的锁竞争,提高并发性能。

类型

  1. 使用 INSERT INTO ... VALUES 语法:
  2. 使用 INSERT INTO ... VALUES 语法:
  3. 使用 LOAD DATA INFILE 语法:
  4. 使用 LOAD DATA INFILE 语法:

应用场景

  • 数据迁移:将数据从一个系统迁移到另一个系统时,批量插入可以显著提高效率。
  • 数据导入:从外部文件导入数据到数据库时,批量插入可以减少导入时间。
  • 批量更新:在某些情况下,批量插入也可以用于批量更新数据。

性能测试

为了测试 MySQL 批量插入数据的性能,可以编写一个简单的测试脚本。以下是一个使用 Python 和 mysql-connector-python 库的示例:

代码语言:txt
复制
import mysql.connector
import time

# 连接到 MySQL 数据库
db = mysql.connector.connect(
    host="localhost",
    user="yourusername",
    password="yourpassword",
    database="yourdatabase"
)

cursor = db.cursor()

# 创建测试表
cursor.execute("CREATE TABLE IF NOT EXISTS test_table (id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(255))")

# 准备测试数据
data = [("Alice",), ("Bob",), ("Charlie",), ("David",)]

# 记录开始时间
start_time = time.time()

# 批量插入数据
sql = "INSERT INTO test_table (name) VALUES (%s)"
cursor.executemany(sql, data)

# 提交事务
db.commit()

# 记录结束时间
end_time = time.time()

# 计算插入时间
insert_time = end_time - start_time

print(f"Inserted {len(data)} records in {insert_time} seconds")

# 关闭连接
cursor.close()
db.close()

可能遇到的问题及解决方法

  1. 性能瓶颈:
    • 原因:可能是由于网络延迟、数据库服务器性能不足或磁盘 I/O 限制。
    • 解决方法:
      • 优化网络配置,减少网络延迟。
      • 升级数据库服务器硬件,如增加内存、使用更快的 CPU 或 SSD。
      • 使用数据库连接池,减少连接开销。
  • 事务过大:
    • 原因:批量插入的数据量过大,导致事务过大,影响性能。
    • 解决方法:
      • 将大批量数据分成多个小批次插入。
      • 调整数据库的事务隔离级别,减少锁竞争。
  • 内存不足:
    • 原因:批量插入操作需要大量内存,可能导致内存不足。
    • 解决方法:
      • 增加服务器的内存。
      • 优化代码,减少不必要的内存使用。

参考链接

通过以上方法和示例代码,你可以有效地测试和优化 MySQL 批量插入数据的性能。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

  • MySQL批量插入数据库实现语句性能分析

    允许我们在一条sql语句中批量插入数据,如下sql语句: INSERT INTO example (example_id, name, value, other_value) VALUES...第二种方法:使用事务提交,批量插入数据库(每隔10W条提交下)最后显示消耗的时间为:22:56:13 23:04:00 ,一共8分13秒 ,代码如下: echo date("H:i:s"); $...$connect_mysql->insert($params); if($i%100000==0){ $connect_mysql->query('COMMIT'); $connect_mysql...SQL语句:将SQL语句进行拼接,使用 insert into table () values (),(),(),()然后再一次性插入,如果字符串太长,   则需要配置下MYSQL,在mysql 命令行中运行...->query($sql);   最后总结下,在插入大批量数据时,第一种方法无疑是最差劲的,而第二种方法在实际应用中就比较广泛,第三种方法在插入测试数据或者其他低要求时比较合适,速度确实快。

    5K10

    Mysql批量插入分析【面试+工作】

    前言 最近发现几个项目中都有批次插入数据库的功能,每个项目中批次插入的写法有一些差别,所以本文打算对Mysql的批次插入做一个详细的分析。...准备 1.jdk1.7,mysql5.6.38 2.准备库和表 ? 测试与分析 下面准备几种插入的方式来分析优劣: 1.Statement插入方式 ?...@@session.tx_read_only的过程,提升插入的性能,具体代码可以参考ConnectionImpl的isReadOnly方法: ? 2.PreparedStatement方式 ?...此方式可以很好的执行批量数据的插入,但是如果数据量很大,一下执行所有数据的批次插入,很容易造成客户端内存的溢出,所以也可以使用第三种方式; 3.PreparedStatement分批次方式 部分代码如下...总结 本文通过三种方式来插入数据,从而了解Mysql批次插入的过程,了解到useLocalSessionState和rewriteBatchedStatements参数对性能的影响,以及maxAllowedPacket

    2.4K20

    MySQL 批量插入:如何不插入重复数据?

    知识这个东西,看来真的要温故而知新,一直不用,都要忘记了 业务很简单:需要批量插入一些数据,数据来源可能是其他数据库的表,也可能是一个外部excel的导入 那么问题来了,是不是每次插入之前都要查一遍...向大数据数据库中插入值时,还要判断插入是否重复,然后插入。如何提高效率 看来这个问题不止我一个人苦恼过。...user (name) SELECT 'telami' FROM dual WHERE NOT EXISTS (SELECT id FROM user WHERE id = 1) 这种方法其实就是使用了mysql...item.username}, #{item.mobileNumber} ) ON duplicate KEY UPDATE id = id 这里用的是Mybatis,批量插入的一个操作...这样在批量插入时,如果存在手机号相同的话,是不会再插入了的。 来源:www.telami.cn

    5.5K20

    MySQL批量插入数据的四种方案(性能测试对比)

    ,即for循环单条、拼接SQL、批量插入saveBatch()、循环 + 开启批处理模式,得出比较实用的方案心得。...一、前言 最近趁空闲之余,在对MySQL数据库进行插入数据测试,对于如何快速插入数据的操作无从下手,在仅1W数据量的情况下,竟花费接近47s,实在不忍直视!在不断摸索之后,整理出一些较实用的方案。...IService接口用于进行批量插入数据操作saveBatch()方法 1、Maven项目中pom.xml文件引入的相关依赖如下       插入+开启批处理模式,该4种插入数据的方式进行测试性能。...JDBC驱动默认情况下忽略saveBatch()方法中的executeBatch()语句,将需要批量处理的一组SQL语句进行拆散,执行时一条一条给MySQL数据库,造成实际上是分片插入,即与单条插入方式相比

    16.5K21

    Mysql批量插入时,如何不插入重复的数据

    业务很简单:需要批量插入一些数据,数据来源可能是其他数据库的表,也可能是一个外部excel的导入 那么问题来了,是不是每次插入之前都要查一遍,看看重不重复,在代码里筛选一下数据,重复的就过滤掉呢?...向大数据数据库中插入值时,还要判断插入是否重复,然后插入。如何提高效率 看来这个问题不止我一个人苦恼过。...user (name) SELECT 'telami' FROM dual WHERE NOT EXISTS (SELECT id FROM user WHERE id = 1) 这种方法其实就是使用了mysql...item.mobileNumber} ) ON duplicate KEY UPDATE id = id 这里用的是Mybatis,批量插入的一个操作...这样在批量插入时,如果存在手机号相同的话,是不会再插入了的。

    6.8K21

    【MySQL】插入优化篇——(少量插入数据优化&批量插入数据load指令)

    前言 大家好吖,欢迎来到 YY 滴MySQL系列 ,热烈欢迎!...本章主要内容面向接触过C++ Linux的老铁 主要内容含: 1.批量插入 采取以下形式,在一个insert语句中完成数据插入,而不是分成几个insert语句 Insert into tb test...values(1,'Tom'),(2,'cat'),(3, jerry'); 【1】需要大批量插入数据——load指令 如果一次性需要插入大批量数据,使用insert语句插入性能较低,此时可以使用MVSQL...本地磁盘文件中的数据,通过load直接加载到数据库表结构中 操作如下: #客户端连接服务端时,加上参数--local-infile mysql --local-infile -u root -p #设置全局参数...批量处理:对于大量的插入操作,将它们封装在一个事务中可以显著提高性能,因为数据库只需在事务结束时进行一次磁盘写入操作,而不是每次插入都写入。

    2.2K10

    Mybatis Plus 批量插入性能优化,非常实用!

    使用的mybatisplus的批量插入方法:saveBatch(),之前就看到过网上都在说在jdbc的url路径上加上rewriteBatchedStatements=true 参数mysql底层才能开启真正的批量插入模式...保证5.1.13以上版本的驱动,才能实现高性能的批量插入。...MySQL JDBC驱动在默认情况下会无视executeBatch()语句,把我们期望批量执行的一组sql语句拆散,一条一条地发给MySQL数据库,批量插入实际上是单条插入,直接造成较低的性能。...sql层面真正的批量插入。...接下来最重要的测试下性能 当前数据表的数据量在100w多条,在此基础上分别拿原始的saveBatch(假的批量插入)和 insertBatchSomeColumn(真正的批量插入)进行性能对比----

    9.1K21

    02-MybatisPlus批量插入性能够吗?

    1 前言 “不要用 mybatis-plus 的批量插入,它其实也是遍历插入,性能很差的”。真的吗?他们的立场如下: 遍历插入,反复创建。这是一个重量级操作,所以性能差。...(若是期望插入一条就成功一条,该批量方法就不适用); 且有限制提交数量,默认1000。...来到ServiceImpl实现类: 可见,MP批量插入是一条条插入的,但是这个一次次的遍历是真的发送给MySQL了吗?。只要记得这里有一个钩子,后面会回调回来执行。...总结 MP批量插入虽然是遍历插入,但不是一个insert就一次IO,而是打包了一次发送一批,所以性能没太大问题。但不是鼓励大家都用这批量插入,实际工作有更多要求,有时简单的批量插入没法满足。...扩展 如果使用mybatis-plus 3.4+ 版本,并且连接的是 MySQL 8.0 或更高版本的数据库,那么 mybatis-plus将会自动利用MySQL 8.0 的原生批量插入功能来执行批量插入操作

    67710

    面试官:MySQL 批量插入,如何不插入重复数据?

    业务很简单:需要批量插入一些数据,数据来源可能是其他数据库的表,也可能是一个外部excel的导入。 那么问题来了,是不是每次插入之前都要查一遍,看看重不重复,在代码里筛选一下数据,重复的就过滤掉呢?...向大数据数据库中插入值时,还要判断插入是否重复,然后插入。 如何提高效率? 看来这个问题不止我一个人苦恼过。...user (name) SELECT 'telami' FROM dual WHERE NOT EXISTS (SELECT id FROM user WHERE id = 1) 这种方法其实就是使用了MySQL...item.mobileNumber} ) ON duplicate KEY UPDATE id = id 这里用的是Mybatis,批量插入的一个操作...这样在批量插入时,如果存在手机号相同的话,是不会再插入了的。 —END—

    2.1K20
    领券