mysql 表导入合并

基础概念

MySQL表导入合并通常指的是将一个或多个数据表的数据导入到另一个已存在的表中，或者将多个表的数据合并成一个新的表。这个过程可以用于数据迁移、数据备份恢复、数据整合等多种场景。

相关优势

1. 数据整合：可以将来自不同源的数据合并到一个表中，便于统一管理和查询。
2. 数据迁移：在系统升级或更换数据库时，可以通过导入合并的方式快速迁移数据。
3. 数据备份恢复：可以将备份的数据表导入到原数据库中，实现数据的恢复。

类型

1. INSERT INTO ... SELECT：将一个表的数据插入到另一个已存在的表中。
2. CREATE TABLE AS SELECT：基于查询结果创建一个新的表。
3. MERGE INTO（MySQL不直接支持，但可以通过其他方式模拟）：将一个表的数据合并到另一个表中，如果存在重复键，则执行更新操作。

应用场景

1. 数据仓库建设：将多个业务系统的数据导入到一个统一的数据仓库中进行分析。
2. 日志分析：将多个服务器的日志数据合并到一个表中进行分析。
3. 用户数据整合：将不同来源的用户数据进行整合，以便进行统一的管理和查询。

常见问题及解决方法

问题1：导入数据时出现主键冲突

原因：当目标表中已存在与导入数据相同的主键值时，会导致主键冲突。

解决方法：

• 在导入前删除目标表中的重复数据。
• 使用INSERT IGNORE或REPLACE INTO语句来处理冲突。
• 修改导入数据的主键值，确保唯一性。

示例代码：

-- 使用INSERT IGNORE处理冲突
INSERT IGNORE INTO target_table (column1, column2, ...)
SELECT column1, column2, ...
FROM source_table;

-- 使用REPLACE INTO处理冲突
REPLACE INTO target_table (column1, column2, ...)
SELECT column1, column2, ...
FROM source_table;

问题2：导入大数据量时速度慢

原因：数据量大、网络传输速度慢、目标表索引过多等因素都可能导致导入速度慢。

解决方法：

• 在导入前删除目标表的索引，导入完成后再重新创建。
• 使用LOAD DATA INFILE语句来导入数据，该语句通常比INSERT INTO ... SELECT更快。
• 分批次导入数据，减少单次导入的数据量。

示例代码：

-- 删除索引
ALTER TABLE target_table DROP INDEX index_name;

-- 导入数据
LOAD DATA INFILE 'file_path'
INTO TABLE target_table
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '
';

-- 重新创建索引
ALTER TABLE target_table ADD INDEX index_name (column_name);

问题3：导入数据时出现字符集不匹配错误

原因：源表和目标表的字符集不一致，导致数据无法正确导入。

解决方法：

• 在导入前将源表和目标表的字符集统一。
• 使用CONVERT函数或CAST函数将数据转换为正确的字符集。

示例代码：

-- 修改目标表的字符集
ALTER TABLE target_table CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

-- 使用CONVERT函数转换数据
INSERT INTO target_table (column1, column2)
SELECT CONVERT(column1 USING utf8mb4), CONVERT(column2 USING utf8mb4)
FROM source_table;

参考链接

• MySQL INSERT INTO SELECT 语句
• MySQL LOAD DATA INFILE 语句
• MySQL 字符集和排序规则