txt导入mysql数据库

基础概念

将文本文件（如 .txt 文件）导入 MySQL 数据库是一个常见的数据迁移或数据导入过程。这个过程通常涉及以下步骤：

文件读取：读取 .txt 文件中的数据。
数据解析：解析文件中的数据，将其转换为适合数据库表结构的格式。
数据库连接：连接到 MySQL 数据库。
数据插入：将解析后的数据插入到数据库表中。

类型

根据文本文件的格式和数据结构，导入方式可以分为以下几种：

固定格式：文件中的数据按固定列数和列宽排列。
分隔符格式：数据通过特定字符（如逗号、制表符）分隔。
自由格式：数据没有固定格式，需要通过复杂的解析逻辑提取。

应用场景

数据迁移：将旧系统的数据迁移到新系统。
数据备份：将数据库中的数据导出为文本文件，以便备份。
数据导入：从外部数据源导入数据到数据库。

常见问题及解决方法

问题1：文件读取失败

原因：文件路径错误、文件权限不足、文件损坏。

解决方法：

import os

file_path = 'path/to/your/file.txt'
if not os.path.exists(file_path):
    print("文件路径错误")
elif not os.access(file_path, os.R_OK):
    print("文件权限不足")
else:
    # 继续读取文件
    pass

问题2：数据解析错误

原因：数据格式不符合预期、分隔符错误。

解决方法：

import csv

with open(file_path, 'r') as file:
    reader = csv.reader(file, delimiter='\t')  # 根据实际情况调整分隔符
    for row in reader:
        if len(row) != expected_columns:
            print(f"数据格式错误: {row}")
        else:
            # 继续处理数据
            pass

问题3：数据库连接失败

原因：数据库连接信息错误、数据库服务未启动。

解决方法：

import mysql.connector

try:
    conn = mysql.connector.connect(
        host='your_host',
        user='your_user',
        password='your_password',
        database='your_database'
    )
except mysql.connector.Error as err:
    print(f"数据库连接失败: {err}")
else:
    # 继续插入数据
    pass

问题4：数据插入失败

原因：数据类型不匹配、违反数据库约束。

解决方法：

cursor = conn.cursor()
try:
    cursor.execute("INSERT INTO your_table (column1, column2) VALUES (%s, %s)", (value1, value2))
    conn.commit()
except mysql.connector.Error as err:
    print(f"数据插入失败: {err}")
    conn.rollback()

示例代码

以下是一个完整的示例代码，演示如何将 .txt 文件导入 MySQL 数据库：

import mysql.connector
import csv

# 数据库连接配置
db_config = {
    'host': 'your_host',
    'user': 'your_user',
    'password': 'your_password',
    'database': 'your_database'
}

# 文件路径
file_path = 'path/to/your/file.txt'

try:
    # 连接数据库
    conn = mysql.connector.connect(**db_config)
    cursor = conn.cursor()

    # 打开文件并读取数据
    with open(file_path, 'r') as file:
        reader = csv.reader(file, delimiter='\t')  # 根据实际情况调整分隔符
        for row in reader:
            if len(row) != expected_columns:
                print(f"数据格式错误: {row}")
                continue
            # 插入数据
            cursor.execute("INSERT INTO your_table (column1, column2) VALUES (%s, %2)", (row[0], row[1]))
    
    # 提交事务
    conn.commit()
except mysql.connector.Error as err:
    print(f"数据库操作失败: {err}")
    conn.rollback()
finally:
    # 关闭连接
    cursor.close()
    conn.close()