txt数据批量导入mysql

基础概念

TXT数据批量导入MySQL是指将存储在文本文件（TXT格式）中的数据批量导入到MySQL数据库中。这种操作通常用于数据迁移、数据备份恢复、数据初始化等场景。

类型

使用MySQL自带的工具：如LOAD DATA INFILE语句。
使用编程语言：如Python、Java等，通过数据库连接库执行批量插入操作。
使用第三方工具：如Navicat、phpMyAdmin等。

应用场景

数据迁移：将旧系统的数据迁移到新系统中。
数据备份恢复：从备份文件中恢复数据到数据库。
数据初始化：在系统上线前，将初始数据导入数据库。

常见问题及解决方法

问题1：数据格式不匹配

原因：TXT文件中的数据格式与MySQL表结构不匹配。

解决方法：

检查TXT文件中的数据格式，确保与MySQL表结构一致。
使用LOAD DATA INFILE语句时，指定正确的分隔符和字段类型。

LOAD DATA INFILE 'data.txt'
INTO TABLE table_name
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

问题2：权限不足

原因：执行导入操作的用户没有足够的权限。

解决方法：

确保执行导入操作的用户具有FILE权限。
可以通过以下SQL语句授予权限：

GRANT FILE ON *.* TO 'username'@'localhost';

问题3：数据量过大

原因：导入的数据量过大，导致内存不足或超时。

解决方法：

使用LOAD DATA INFILE语句时，可以分批次导入数据。
调整MySQL的配置参数，如innodb_buffer_pool_size和max_allowed_packet。

SET GLOBAL innodb_buffer_pool_size = 2G;
SET GLOBAL max_allowed_packet = 64M;

问题4：编码问题

原因：TXT文件和MySQL数据库的字符编码不一致。

解决方法：

确保TXT文件和MySQL数据库使用相同的字符编码。
在导入数据前，可以使用CONVERT函数或CHARSET参数进行编码转换。

LOAD DATA INFILE 'data.txt' CHARACTER SET utf8mb4
INTO TABLE table_name
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

示例代码（Python）

import mysql.connector

# 连接数据库
conn = mysql.connector.connect(
    host='localhost',
    user='username',
    password='password',
    database='database_name'
)

cursor = conn.cursor()

# 读取TXT文件并批量插入数据
with open('data.txt', 'r', encoding='utf-8') as file:
    lines = file.readlines()
    for line in lines:
        data = line.strip().split(',')
        query = "INSERT INTO table_name (column1, column2, column3) VALUES (%s, %s, %s)"
        cursor.execute(query, data)

# 提交事务并关闭连接
conn.commit()
cursor.close()
conn.close()