首页
学习
活动
专区
圈层
工具
发布

mysql 批量入库

基础概念

MySQL批量入库是指一次性将多条记录插入到数据库表中的操作。相比于逐条插入记录,批量入库可以显著提高数据插入的效率。

相关优势

  1. 提高性能:批量入库减少了与数据库的交互次数,从而降低了网络开销和数据库负载,提高了数据插入的速度。
  2. 减少锁竞争:通过减少插入操作的次数,可以降低表级锁的竞争,提高并发性能。
  3. 简化代码:批量入库可以使用一条SQL语句完成多条记录的插入,简化了代码逻辑。

类型

MySQL批量入库主要有两种方式:

  1. 使用INSERT INTO ... VALUES (...), (...), ...语法:
代码语言:txt
复制
INSERT INTO table_name (column1, column2, ...)
VALUES (value1, value2, ...),
       (value3, value4, ...),
       ...
  1. 使用LOAD DATA INFILE语法:适用于从文件中批量导入数据。
代码语言:txt
复制
LOAD DATA INFILE 'file_path'
INTO TABLE table_name
FIELDS TERMINATED BY 'delimiter'
ENCLOSED BY 'enclosure'
LINES TERMINATED BY 'line_terminator'
IGNORE number LINES;

应用场景

批量入库常用于以下场景:

  1. 数据迁移:将数据从一个数据库或表迁移到另一个数据库或表。
  2. 批量导入数据:从外部系统导入大量数据到MySQL数据库。
  3. 日志记录:将大量日志记录一次性插入到日志表中。

常见问题及解决方法

问题1:批量入库时遇到ERROR 1062 (23000): Duplicate entry错误

原因:插入的数据中存在重复的主键或唯一键值。

解决方法:

  1. 在插入前检查数据是否重复。
  2. 使用INSERT IGNORE或REPLACE INTO语句来处理重复键值。
代码语言:txt
复制
INSERT IGNORE INTO table_name (column1, column2, ...)
VALUES (value1, value2, ...),
       (value3, value4, ...),
       ...;

或

代码语言:txt
复制
REPLACE INTO table_name (column1, column2, ...)
VALUES (value1, value2, ...),
       (value3, value4, ...),
       ...;

问题2:批量入库时遇到ERROR 2006 (HY000): MySQL server has gone away错误

原因:插入的数据量过大,导致MySQL服务器断开连接。

解决方法:

  1. 增加MySQL服务器的max_allowed_packet参数值。
  2. 将数据分批插入,每批插入的数据量适中。
代码语言:txt
复制
SET GLOBAL max_allowed_packet = 128 * 1024 * 1024; -- 设置为128MB

问题3:批量入库时性能不佳

原因:插入的数据量过大,或者数据库配置不当。

解决方法:

  1. 优化数据库配置,如增加缓冲区大小、调整日志文件大小等。
  2. 使用LOAD DATA INFILE语法进行批量导入,该方式通常比INSERT INTO ... VALUES (...)语法更快。

示例代码

假设有一个表users,结构如下:

代码语言:txt
复制
CREATE TABLE users (
    id INT AUTO_INCREMENT PRIMARY KEY,
    name VARCHAR(255) NOT NULL,
    email VARCHAR(255) NOT NULL UNIQUE
);

批量插入数据的示例代码:

代码语言:txt
复制
INSERT INTO users (name, email)
VALUES ('Alice', 'alice@example.com'),
       ('Bob', 'bob@example.com'),
       ('Charlie', 'charlie@example.com');

参考链接

希望以上信息对你有所帮助!如果有其他问题,请随时提问。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

【高并发】redis队列缓存 + mysql 批量入库 + php离线整合

解决: 问题一:要求日志最好入库;但是,直接入库mysql确实扛不住,批量入库没有问题,done。...【批量入库和直接入库性能差异 参考文章 】 问题二:批量入库就需要有高并发的消息队列,决定采用redis list 仿真实现,而且方便回滚。...> 三:数据定时批量入库。 定时读取redis消息队列里面的数据,批量入库。 <?php /** * 获取redis消息队列中的脚本,拼接sql,批量入库。...\n"; } mysql_close($link_2004); ?> 五:代码部署 主要是部署,批量入库脚本的调用和天级统计脚本,crontab例行运行。...批量入库解决数据库瓶颈,离线计算解决统计数据,通过定期清理保证库的大小。

2.9K80
  • 量化之tushare日线数据入库Mysql例子

    上篇文章写了DuckDB, 对于普通人来说, 可能用mysql数据保存量化数据更合适。 毕竟对于程序员来说, 大家一开始学的数据库基本是Mysql。选择自己最适合的更重要。...最近由于东方财富频繁访问问题,经常有同学问我数据源的问题,这里写一写tushare存入mysql。 希望对大家有所启发。...先下载mysql资源 1、mysql数据库下载, 比如选择5.7或8.0 2、我们可以选择下载mysql客户端比如navicat, 网上搜索很多。...这里我写一个处理方案对日线数据入库的操作。 1、首先获取交易日日历(由于tushare需要2000积分, 这个接口暂时用akshare获取) 2、数据源, 最初我准备用miniqmt的。...3、我们看下tushare 的日线行情 接口:daily,可以通过数据工具调试和查看数据 数据说明:交易日每天15点~16点之间入库。

    1.1K10
    领券