mysql 批量insert语句

基础概念

MySQL 批量插入（Batch Insert）是指在一次数据库操作中插入多条记录，而不是逐条插入。这种操作可以显著提高数据插入的效率，因为它减少了与数据库的交互次数。

优势

1. 提高性能：批量插入减少了网络开销和数据库的 I/O 操作，从而提高了插入速度。
2. 减少锁竞争：批量插入可以减少对表的锁定时间，降低锁竞争的概率。
3. 简化代码：通过一次操作插入多条记录，简化了代码逻辑。

类型

MySQL 支持多种批量插入的方式：

1. 单条 INSERT 语句插入多条记录：
2. 单条 INSERT 语句插入多条记录：
3. 使用 UNION ALL：
4. 使用 UNION ALL：
5. 使用 LOAD DATA INFILE：
6. 使用 LOAD DATA INFILE：

应用场景

批量插入适用于以下场景：

1. 数据导入：从外部文件或其他数据库导入大量数据。
2. 批量操作：在应用程序中需要一次性插入多条记录的场景。
3. 日志记录：记录大量日志信息时，使用批量插入可以提高效率。

常见问题及解决方法

问题：批量插入时遇到 MySQL server has gone away 错误

原因： 这个错误通常是由于插入的数据量过大，超过了 MySQL 的 max_allowed_packet 配置限制。

解决方法：

1. 增加 max_allowed_packet 配置：
2. 增加 max_allowed_packet 配置：
3. 分批插入：将数据分成多个小批次进行插入。

问题：批量插入时遇到 Duplicate entry 错误

原因： 这个错误通常是由于插入的数据中存在重复的键值。

解决方法：

1. 使用 INSERT IGNORE：
2. 使用 INSERT IGNORE：
3. 使用 ON DUPLICATE KEY UPDATE：
4. 使用 ON DUPLICATE KEY UPDATE：

示例代码

以下是一个使用 Python 和 MySQL Connector 进行批量插入的示例：

import mysql.connector

# 连接到 MySQL 数据库
cnx = mysql.connector.connect(user='user', password='password', host='host', database='database')
cursor = cnx.cursor()

# 批量插入数据
sql = "INSERT INTO table_name (column1, column2, column3) VALUES (%s, %s, %s)"
data = [
    ('value1', 'value2', 'value3'),
    ('value4', 'value5', 'value6'),
    ('value7', 'value8', 'value9')
]

cursor.executemany(sql, data)
cnx.commit()

# 关闭连接
cursor.close()
cnx.close()

参考链接

• MySQL 批量插入文档
• MySQL Connector/Python 文档

希望这些信息对你有所帮助！如果有更多问题，请随时提问。