首页
学习
活动
专区
圈层
工具
发布

MySQL adddrop字段时报主键冲突

问题现象 很多DBA朋友做ddl 变更比如添加、删除字段时,一定概率上会遇到如下报错: Duplicate entry '7458421' for key 'PRIMARY' 错误提示是主键冲突,但是当我们去查询...问题分析 首先我们通过一个思维导图了解一下MySQL online DDL 的过程,大家注意commit阶段,会把ddl 执行期间的记录的 log 重新应用到新的表上。 ?...从官方文档中的描述所说 online ddl 期间,其他会话执行的dml操作造成唯一键冲突的sql会记录到 online log 中,在commit阶段等变更结束之后再应用这些sql会导致报错唯一键冲突...https://bugs.mysql.com/bug.php?...76895 https://bugs.launchpad.net/percona-server/+bug/1445589 关联知识 innodb_online_alter_log_max_size 是MySQL

5.9K21
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    mysql数据导入报错主键冲突 ERROR 1062 (23000) at line 38: Duplicate entry

    导读导了这么多数据, 还第一次遇见导入数据的时候报错主键冲突呢ERROR 1062 (23000) at line 38: Duplicate entry '1' for key 't20240726....`t20240726` ENABLE KEYS */;UNLOCK TABLES;导入是锁表导入的啊, 理论上只有create table 到 lock table之间ms级的时间去写入数据才会导致主键冲突...也就是只有业务产生binlog, 也就是业务乘我们导入数据的时候拼命往数据库里面写入数据. 让数据导入产生主键冲突并中断. 解析binlog数据发现确实是存在该行数据的写入的....p123456 db1 -e "INSERT INTO db1.t20240726 VALUES (1,'ddcw');" >/dev/null 2>&1 && echo OK;done然后我们导入数据:mysql...P3314 -p123456 db1 主键冲突数据导入的时候是否加上

    1.2K10

    Mysql资料 主键

    没有主键,更新或删除表中特定行很困难,因为没有安全的方法保证只设计相关的行。 虽然并不总是都需要主键,但大多数数据库设计人员都应保证他们创建的每个表有一个主键,以便于以后数据操纵和管理。...表中的任何列都可以作为主键,只要它满足以下条件: 1、任何两行都不具有相同的主键值 2、每个行都必须具有一个主键值(主键列不允许NULL值) 除MySQL强制实施的规则外,应该坚持的几个普遍认为的最好习惯为...这就要求同一个叶子节点内(大小为一个内存页或磁盘页)的各条数据记录按主键顺序存放,因此每当有一条新的记录插入时,MySQL会根据其主键将其插入适当的节点和位置,如果页面达到装载因子(InnoDB默认为15...2、.如果使用非自增主键(如果身份证号或学号等),由于每次插入主键的值近似于随机,因此每次新纪录都要被插到现有索引页得中间某个位置: 此时MySQL不得不为了将新记录插到合适位置而移动数据,甚至目标页面可能已经被回写到磁盘上而从缓存中清掉...如果没有显式地在表定义时指定主键,InnoDB存储引擎会为每一行生成一个6字节的ROWID,并一次作为主键。 mysql 在频繁的更新、删除操作,会产生碎片。而含碎片比较大的表,查询效率会降低。

    6.8K20

    MySQL 核心模块揭秘 | 32 期 | 插入记录,主键索引冲突加什么锁?

    本文基于 MySQL 8.0.32 源码,存储引擎为 InnoDB。 正文 1....begin; insert into t1(id, i1) values (10, 1010); 因为新插入记录和表中原有记录存在主键冲突,执行 insert 语句之后,报错如下: (1062, "Duplicate...原理分析 insert 语句执行过程中,插入记录到主键索引之前,需要先找插入记录的目标位置。 目标位置为表中主键字段值小于等于新插入记录中主键字段值的最后一条记录之后。...否则,新记录和表中已有记录冲突,不能插入,就可以报错了。 为了防止其它事务更新或者删除这条记录,检查表中记录是否有效之前,InnoDB 会对这条记录加共享普通记录锁。...我们可以模拟下这个场景,创建 2 个 MySQL 连接,分别执行 delete 语句和 insert 语句。

    65610

    MySQL主键设计盘点

    主键生成策略 自增ID 使用数据库的自动增长(auto_increment),是比较简单和常见的ID生成方案,数据库内部可以确保生成id的唯一性。...2、对数据库有依赖,每种数据库可能实现不一样,数据库切换时候,涉及到代码的修改,不利于扩展 结论: 自增id做主键适用于非分布式架构。...5、对MySQL索引不利:作为数据库主键,在InnoDB引擎下,UUID的无序性可能会引起数据位置频繁变动,严重影响性能。...结论: 用自建的id生成器做主键适用于大规模分布式架构 参考: 【1】:红心李 :MySQL主键设计 【2】:Uncle Nucky :MySQL数据库主键设计原则 【3】:ellis:设计套路:Mysql...【8】:alex.shu:MySQL 使用自增ID主键和UUID 作为主键的优劣比较详细过程(从百万到千万表记录测试) 【9】:咖啡拿铁:如果再有人问你分布式ID,这篇文章丢给他 【10】:漫漫路:

    6.8K30

    MySQL主键约束使用

    MySQL主键约束是一种用于确保表中每行数据的唯一性的限制。每个表只能有一个主键,它可以是一个或多个列。创建表时添加主键约束在创建表时添加主键约束,需要在列名后面添加关键字"PRIMARY KEY"。...在已经存在的表中添加主键约束如果已经存在一个表,但需要将某些列或字段添加主键约束,可以使用ALTER TABLE语句来修改表结构。...主键约束和自增列通常情况下,主键约束通常与自增列一起使用。自增列是指在插入新行时,自动为该行分配一个唯一的值。在MySQL中,可以使用AUTO_INCREMENT关键字来创建自增列。...这意味着在插入数据时,无需提供"id"列的值,MySQL会自动为其分配一个唯一的值。示例假设有一个用户表,其中包含以下列:id、name和email。...以下是如何插入数据的示例:INSERT INTO users (name, email)VALUES ('John', 'john@example.com');在上面的示例中,"id"列是自增列,不需要手动提值,MySQL

    5.3K20

    MySQL的主键详解

    应该总是定义主键 虽然并非总需主键,但大多数数据库设计人员都应保证他们创建的每个表具有一个主键,以便以后的数据操纵和管理。...表中的任何列都可以作为主键,只要它满足以下主键值规则条件: 任两行不具相同的主键值 每行都必须具有一个主键值(主键列不允许NULL) 这里的规则是MySQL本身强制实施的。...除MySQL强制实施的规则外,还应该坚持的最佳实践: 不更新主键列中的值 不重用主键列的值 不在主键列中使用可能会更改的值 例如,如果使用一个名字作为主键以标识某个供应商,当该供应商合并和更改其 名字时...,必须更改这个主键) 联合主键 好处 可以直观的看到某个重复字段的记录条数 主键A跟主键B组成联合主键 主键A跟主键B的数据可以完全相同,联合就在于主键A跟主键B形成的联合主键是唯一的。...联合主键体现在多个表上,复合主键体现在一个表中的多个字段。 复合主键 主键通常定义在表的一列上,但这并不是必需的,也可使用多个列作为主键。

    8.1K20

    MySQL为什么需要主键

    MySQL为什么需要主键主键表中每一行都应该有可以唯一标识自己的一列(或一组列)。一个顾客可以使用顾客编号列,而订单可以使用订单ID,雇员可以使用雇员ID或雇员社会保险号。...表中的任何列都可以作为主键,只要它满足以下条件:任何两行都不具有相同的主键值。每个行都必须具有一个主键值(主键列不允许NULL值)这里列出的条件是MySQL本身强制实施的。...除MySQL强制实施的规则外,应该坚持的几个普遍认为的最好习惯为:不更新主键列的值。不重用主键列的值。不在主键列中使用可能会更改的值。比如用用户邮箱当主键,但是用户可能更换邮箱。...如果使用非自增主键:由于每次插入主键的值近似于随机,因此每次新纪录都要被插到现有索引页得中间某个位置:此时MySQL不得不为了将新记录插到合适位置而移动数据。...如果没有显式地在表定义时指定主键,InnoDB存储引擎会为每一行生成一个6字节的ROWID,并一次作为主键。MySQL在频繁的更新、删除操作时,会产生碎片。而含碎片比较大的表,查询效率会降低。

    3.3K00

    【App专项测试】—冲突测试

    分享的主题:App专项测试--冲突测试 什么是冲突测试? 冲突测试是一种叫法,可能不同的公司叫法不同。我们所谓的冲突测试是指,在运行某一程序的功能时被第三方功能或者软件给干扰的测试。...该测试方法模拟的是一种基于软件状态场景的测试。从软件的运行状态来看,我们认为软件状态一般只有开始、挂起、结束,这三种状态。 冲突测试即为模拟干扰软件运行“开始”、“挂起”、“结束”状态的测试。...冲突测试的应用范围和一些应用场景? 冲突测试这种测试方法,常见于手机软件测试、移动通信类嵌入式软件测试等领域。...但在一些桌面软件或者Web系统测试领域当中也可应用,只是应用的场景并不如移动通信类软件这么广泛。 冲突测试应该在整个测试中的地位? 地位应该与边界值测试中的地位相同。...冲突测试主要关注的点: 注:此类测试在手机等移动通信软件中的一个难点就是,找准测试时间点。因为在执行某个功能时,发生的速度非常快,而要打断这个状态就得算好时间。

    2.8K00

    Mysql:小主键,大问题

    本篇讲解 Mysql 的「主键」问题,从「为什么」的角度来了解 Mysql 主键相关的知识,并拓展到主键的生成方案问题。再也不怕被问到 Mysql 时只知道 CRUD 了。...在插入数据和更新数据时需要额外的 IO 更多的 join 可能 如果没有唯一性策略限制,容易出现重复的 Key 测试环境和正式环境 Key 不一致,不利于排查问题 Key 的值没有和数据关联,不符合三范式...不能用于搜索关键字 依赖不同数据库系统的具体实现,不利于底层数据库的替换 五、主键生成 一般情况下,我们都使用 Mysql 的自增 ID,来作为表的「主键」,这样简单,而且从上面讲到的来看,性能也是最好的...数据库的实现 Mysql 自增 Mysql 在内存中维护一个「自增计数器」,每次访问 auto-increment 计数器的时候, InnoDB 都会加上一个名为「AUTO-INC 锁」直到该语句结束(...在分布式的情况下,其实可以独立一个服务和数据库来做 id 生成,依旧依赖 Mysql 的表 id 自增能力来为第三方服务统一生成 id。为性能考虑可以不同业务使用不同的表。

    5.7K10

    当多表数据涌入,Apache SeaTunnel 如何巧妙化解主键冲突?

    https://github.com/apache/seatunnel来源|数仓生态圈概述当有多个数据库中的一张表具有类似的数据,例如有多个不同的系统来源,数据插入不同数据库中的表。...此时,若需要把这些表数据汇总成一张表进行统计分析,会面临一个棘手问题:由于多张表具有相同的主键,直接汇总到一起会出现主键重复。而ApacheSeaTunnel就能巧妙应对这一挑战。...设计思想本方案旨在将分布在两个独立MySQL数据库(datasource1和datasource2)中的test表,实时、准确地同步汇总到第三个数据库(datasource3)的test表中。...为解决源表自增主键ID可能重复的问题,目标表将引入“数据来源”字段,并与原ID组成联合主键,确保数据的唯一性与可追溯性。...,有测试出来的朋友可以留言相告。

    31000

    MYSQL-主键(Primary Key)

    数据库是一个系统(应用)最重要的资产之一,所以我们的数据库将从以下几个数据库来进行介绍。...MySQL(本章节) PostgreSQL MongoDB Redis Etcd 主键是数据库表设计中最为重要的概念之一,它远不止是“唯一标识符”那么简单,尤其是在 MySQL 默认的 InnoDB 存储引擎中...一、主键是什么? 主键是数据库表中的一个或多个字段(列),它的值用于唯一地标识表中的某一条记录。...打个比方:身份证号是中国公民在主表“人口数据库”中的主键,每个人的身份证号都是唯一且不为空的,通过它可以精准地定位到一个人。...现代数据库设计实践中,绝大多数推荐使用代理主键,尤其是使用 AUTO_INCREMENT 的自增整数。 2.

    3.1K10
    领券