今天在执行开发发过来的工单的时候,source批量导入执行时候发现报了很多警告 提示 truncate for column xxxxx 。...导入完成后,使用select查询后,发现大量数据未成功插入。 后来发现是enum字段没有加引号搞的鬼。 结论: enum的字段,在插入的时候,必须带上引号。否则会出现不可预期的问题。...+-----+-----+ 原因: enum类型的字段插入数值的时候, 带引号的时候,插入的才是真正的数值。...如果不带引号插入的话,实际上是插入的key(如上面的例子中 INSERT INTO t1 (b) VALUES (4),插入的是b列第四个default值,也就是取enum('4','3','2','1...同样,enum在mysql手册上的说明: ENUM('value1','value2',...) 1或2个字节,取决于枚举值的个数(最多65,535个值) 除非enum的个数超过了一定数量,否则他所占的存储空间也总是
Flink中的事件时间和处理时间有什么区别?为什么事件时间在流计算中很重要?...在Flink中,可以通过指定时间戳和水位线来处理事件时间。时间戳用于为每个事件分配一个时间戳,而水位线用于表示事件时间的进展。Flink使用水位线来处理延迟数据和乱序数据,以确保结果的准确性。...在Flink中,默认使用处理时间进行处理,即使用数据到达流处理引擎的时间作为事件的时间戳。...在一些应用场景中,数据的时间戳非常重要,例如金融交易、日志分析等。使用事件时间可以确保结果的准确性,避免数据乱序和延迟带来的问题。...流处理引擎会等待一段时间,以确保当前时间之前的所有事件都已经到达,然后再进行计算和处理。 窗口操作: 事件时间在窗口操作中非常重要。
MySQL的InnoDB引擎在UPDATE时加锁的范围取决于索引的使用情况,如果WHERE条件没有命中索引,优化器只能走全表扫描,InnoDB会给扫描到的每一行都加上行锁,而这些行锁加上间隙锁就形成了类似表锁的效果...因为表里大部分记录的status可能都是0,这些记录都会被锁住。扫描一直到聚簇索引的末尾才结束。这就解释了为什么两个不同订单号的更新会互相阻塞:会话A在扫描过程中锁住了会话B需要的行。...间隙锁让情况更糟在可重复读隔离级别下,InnoDB不仅锁记录本身,还会锁记录之间的间隙,防止其他事务在间隙中插入数据。全表扫描时,扫描路径上的每一个间隙都会被加上间隙锁。...如果隔离级别是读已提交(RC),间隙锁会失效,InnoDB只锁扫描到的记录本身,锁范围会小一些,但仍然是全表扫描到的所有行。所以把隔离级别从RR改成RC能缓解,但不能根治,因为全表扫描本身没解决。...多一次查询换来了更小的锁范围,在高并发更新场景下通常是值得的。如果WHERE条件确实没法用索引,比如按时间范围批量更新,那要控制单次更新的行数。
02 on duplicate key update 即插入数据时,如果数据存在,则执行更新操作,前提条件同上,也是插入的数据字段设置了主键或唯一索引,测试SQL语句如下,当插入本条记录时,MySQL数据库会首先检索已有数据...03 replace into 即插入数据时,如果数据存在,则删除再插入,前提条件同上,插入的数据字段需要设置主键或唯一索引,测试SQL语句如下,当插入本条记录时,MySQL数据库会首先检索已有数据(idx_username...,这种方式适合于插入的数据字段没有设置主键或唯一索引,当插入一条数据时,首先判断MySQL数据库中是否存在这条数据,如果不存在,则正常插入,如果存在,则忽略: ?...目前,就分享这4种MySQL处理重复数据的方式吧,前3种方式适合字段设置了主键或唯一索引,最后一种方式则没有此限制,只要你熟悉一下使用过程,很快就能掌握的,网上也有相关资料和教程,介绍的非常详细,感兴趣的话...往期推荐 一条 SQL 引发的事故 为什么像王者荣耀这样的游戏 Server 不愿意使用微服务? explain都不懂,还说会SQL调优?
但不少开发者遇到过这样的怪事:翻到第二页时出现了第一页已经看过的记录,或者某条数据在翻页过程中凭空消失。...这类问题往往不是分页参数算错了,而是排序字段存在大量重复值,MySQL对相同排序键的行没有稳定顺序,加上LIMIT的优化器行为,导致每次查询返回的“同分值行”顺序可能不同。...另外,在InnoDB中如果ORDERBY字段没有合适索引,还会触发filesort,配合LIMIT时优化器可能选择不同的执行计划。...一种常见的错误修法是把ORDERBY改成ORDERBYcreated_atDESC,以为时间字段天然唯一。实际上DATETIME默认精度是秒,批量写入时依然会撞值,问题只是概率变小。...此时要检查WHERE中的等值列是否都在索引最左前缀,以及ORDERBY的字段顺序是否与索引一致。
验证过程: 开启一个显式update事务,在事务操作中间进行短暂的停留,然后观察解析的二进制日志 mysql> flush logs; -- 切换日志 Query OK, 0 rows affected...*/; # at 575 从binlog日志可以看出一个事务的事件,从上到下为: Gtid_log_event: binglog记录时间 21061010:39:47 事务的commit时间 Query_log_event...: binglog记录时间21061010:38:42 update执行时间 Rows_query_log_event: binglog记录时间21061010:38:42 Table_map_event...:39:47 事务的commit时间 所以从binlog日志看到时间Gtid_log_event在前面大于后面的事件时间了。...Gtid_log_event和Xid_event事件是在事务commit时的时间
但奇怪的是,你用同样的nohup command &模式执行其他任务(比如数据备份脚本、Python处理程序)时,却从没出现过这种问题。 一、 为什么MySQL与众不同?...nohup.out文件 用法在形式上是 nohup mysql -e 'YOUR_SQL' & 这里的&让命令在后台运行 2...." &:mysql命令行客户端只是任务的发起者和连接保持者,真正的繁重工作是在MySQL服务器进程中进行的 3....异常退出 # 时间点 T4:mysql-client 进程退出 # 到数据库服务器的连接被强制关闭 # MySQL 服务器检测到客户端连接断开 # 服务器会回滚或终止正在为该连接执行的任务 这就是为什么你的长任务会神秘消失...即使你电脑关机、网络断开,里面的命令依然会稳稳地运行。 创建一个新会话: screen -S mytask 在弹出的新窗口里执行你的 mysql 命令。
传统网卡与智能网卡的主要区别在于功能和性能,尤其在云环境中,智能网卡的优势更为明显。...在虚拟化环境中,智能网卡可以直接处理虚拟机的网络流量,减少 Hypervisor 的负载。...3、支持虚拟化和多租户环境:在云环境中,智能网卡可以更好地支持虚拟化功能,如 SR-IOV(单根 I/O 虚拟化),为每个虚拟机提供独立的网络通道,提升性能并隔离租户流量。...在云厂商的大规模部署中,智能网卡的性能优势可以转化为更高的资源利用率和更低的运营成本。...这些优势在大规模数据中心和高负载场景中尤为重要,因此智能网卡成为云厂商的重要技术方向。
在C语言中,使用gets函数输入字符串时,如果输入的字符串长度超过了字符数组的边界,程序可能会崩溃。...缓冲区溢出的原因数组越界:当输入的字符串长度超过字符数组的容量时,gets函数会继续将多余的字符写入数组之外的内存区域。...这些额外的字符可能会覆盖相邻的变量、函数返回地址或其他重要数据,导致程序行为异常或崩溃。栈溢出:如果字符数组是在栈上分配的,超出数组边界的写操作可能会覆盖栈上的其他数据,包括函数的返回地址。...这种情况下,当函数返回时,程序会尝试跳转到一个无效的地址,从而导致崩溃。...,不推荐使用 printf("你输入的字符串是: %s\n", buffer); return 0;}在这个例子中,如果用户输入的字符串长度超过9个字符(加上终止符\0),gets函数会将多余的字符写入
引言 这篇文章的很多问题,都是面试中实打实会问到的! 比如 ? OK,具体有下面这些问题 1、为什么一定要设一个主键? 2、你们主键是用自增还是UUID? 3、主键为什么不推荐有业务含义?...因此我的回答,都是基于innodb存储引擎中的。 正文 问题1:为什么一定要设一个主键? 回答:因为你不设主键的情况下,innodb也会帮你生成一个隐藏列,作为自增主键。...另外,附一个测试表给你们,表名带uuid的就是用uuid作为主键。大家看一下就知道性能差距了: ? 如上图所示,当主键是UUID的时候,插入时间更长,而且占用空间更大!...回答:我们在实际应用中,都是用HDFS来存储文件。然后mysql中,只存文件的存放路径。mysql中有两个字段类型被用来设计存放大容量文件,也就是text和blob类型。...主要原因有如下两点 (1)Mysql内存临时表不支持TEXT、BLOB这样的大数据类型,如果查询中包含这样的数据,在排序等操作时,就不能使用内存临时表,必须使用磁盘临时表进行。
在mysql中,Int整型的范围(-2147483648~2147483648),约20亿!因此不用考虑自增ID达到最大值这个问题。而且数据达到千万级的时候就应该考虑分库分表了。...2038年以后的时间,是无法用timestamp类型存储的。 但是它有一个优势,timestamp类型是带有时区信息的。一旦你系统中的时区发生改变,例如你修改了时区,该字段的值会自动变更。...显然,存储时间范围更大。但是它坑的地方在于,它存储的是时间绝对值,不带有时区信息。如果你改变数据库的时区,该项的值不会自己发生变更!...bigint,也是8个字节,自己维护一个时间戳,查询效率高,不过数据写入,显示都需要做转换。 7:为什么不直接存储图片、音频、视频等大容量内容? 我们在实际应用中,都是文件形式存储的。...Mysql内存临时表不支持TEXT、BLOB这样的大数据类型,如果查询中包含这样的数据,查询效率会非常慢。 2. 数据库特别大,内存占用高,维护也比较麻烦。
('赵六', '1', '12347'); 这时候虽然插入失败了,但是id的值还是增加了1,为什么这么说呢,我们修改上面的语句如下,插入成功后表里面虽然有4条记录,但是id是1、2、3、5 INSERT...面试官:等一下,mysql的自增id在唯一索引冲突的时候为什么不会回滚回去呢?...zh_person2表里面总共有5条记录,id是1、2、3、4、8 面试官:那id在mysql中是怎么存储的呢?...我:您知道,mysql有2种主流存储引擎,MyISAM和InnoDB,MyISAM自增id存储在数据文件上,而InnoDB在mysql8.0之前存储在内存中,8.0之后存储在redolog里。...我:本质上是一样的,都是备份、删除、回写数据,针对刚刚的zh_person表,我们可以分别执行上面的语句,然后查询表的创建时间,发现每次时间都会改变 SELECT table_name,create_time
//自增主键不连续的几种情况// 最近在极客时间上学习丁奇大佬的《MySQL 45讲》,这里结合自己的理解分享出来,喜欢的同学可以购买原版课程进行学习,里面的内容很丰富。...有的时候,我们会发现自增值 01 唯一键冲突导致的自增键修改 当我们给表里面插入数据的时候,如果没有指定主键的值,自增长的属性会自动为我们定义主键的值,如下示例: mysql> CREATE TABLE...mysql> insert into t values(null, 1, 1); Query OK, 1 row affected (0.01 sec) #再插入数据,发现唯一键冲突,自增值已经发生了改变...02 事务回滚导致的自增键不连续 当我们使用回滚事务的时候,如果该事务内部使用了自增值,那么同样会导致表自增主键出问题,示例如下: mysql> insert into t values (null...03 MySQL自增锁优化带来的不连续 在MySQL5.7中,参数innodb_autoinc_lock_mode被用来控制自增锁的模式,该参数可以设置为三个值:0、1、2. a、当该值为0的时候,
自增id 说到自增id,相信你的第一反应一定是在设计表结构的时候自定义一个自增id字段,那么就有一个问题啦,在插入数据时有可能唯一主键冲、sql事务回滚、批量插入的时候,批量申请自增值等原因导致自增id...Xid MySQL中redo log 和 binlog 相配合的时候,它们有一个共同的字段叫作 Xid。它在 MySQL 中是用来对应事务的。...Redis自增主键 其实外部自增主键的生成方式有很多,为什么我要介绍redis呢?因为我自己在实际应用中使用发现它的很多优点。 redis自身是原子性的,因此高并发也是线程安全的。...假设主键字段长度20,我们以时间+自增数来构成主键,例如:8位日期+12自增数。那么,根据业务性质可以决定时间取年月日或者到毫秒级,那么在毫秒之间自增数的重复概率是极小极小的,基本的业务都能适用。...总结 上面介绍了好几种自增id,每种自增 id 有各自的应用场景,在达到上限后的表现也不同: 1、 表的自增 id 达到上限后,再申请时它的值就不会改变,进而导致继续插入数据时报主键冲突的错误 2、 row_id
(3)、2者selectcount(*)哪个更快,为什么 3、MySQL中varchar与char的区别以及varchar(50)中的50代表的涵义 (1)、varchar与char的区别 (2)、varchar...(50)中50的涵义 (3)、int(20)中20的涵义 (4)、mysql为什么这么设计 4、innodb的事务与日志的实现方式 (1)、有多少种日志; (2)、事物的4种隔离级别 (3)、事务是如何通过日志来实现的...18、MySQL中InnoDB引擎的行锁是通过加在什么上完成(或称实现)的?为什么是这样子的? 19、如何从mysqldump产生的全库备份中只恢复某一个库、某一张表?...答案分割线 1、MySQL的复制原理以及流程 基本原理流程,3个线程以及之间的关联; 主:binlog线程——记录下所有改变了数据库数据的语句,放进master上的binlog中; 从:io线程——在使用...,比 如一条update语句,修改多条记录,则binlog中每一条修改都会有记录,这样造成binlog日志量会很大,特别是当执行alter table之类的语句的时候,由于表结构修改,每条记录都发生改变
自增id 说到自增id,相信你的第一反应一定是在设计表结构的时候自定义一个自增id字段,那么就有一个问题啦,在插入数据时有可能唯一主键冲、sql事务回滚、批量插入的时候,批量申请自增值等原因导致自增id...Xid MySQL中redo log 和 binlog 相配合的时候,它们有一个共同的字段叫作 Xid。它在 MySQL 中是用来对应事务的。...Redis自增主键 其实外部自增主键的生成方式有很多,为什么我要介绍redis呢?因为我自己在实际应用中使用发现它的很多优点。 redis自身是原子性的,因此高并发也是线程安全的。...假设主键字段长度20,我们以时间+自增数来构成主键,例如:8位日期+12自增数。那么,根据业务性质可以决定时间取年月日或者到毫秒级,那么在毫秒之间自增数的重复概率是极小极小的,基本的业务都能适用。...总结 上面介绍了好几种自增id,每种自增 id 有各自的应用场景,在达到上限后的表现也不同: 1、 表的自增 id 达到上限后,再申请时它的值就不会改变,进而导致继续插入数据时报主键冲突的错误 2、
疑问 1、那么mysql为什么要选择使用可重复读来作为默认的隔离级别呢? 2、可重复读,会带来哪些问题? 3、我们在开发过程中是否要修改默认值,将其改为我们常见的读已提交呢?...为什么选择REPEATABLE READ? mysql为什么选择使用可重复读来作为默认的隔离级别呢?...查了下文档,发现是有历史原因的,这和mysql的复制有关系,mysql的复制基于binlog,在配置文件中我们可以发现有一个参数binlog_format,binlog有三种格式 # binary logging...在mysql中设置隔离级别为读已提交时,binlog_format如果设置为statement插入数据的时候会报错: --默认binlog_format=statement会报错mysql> create...使用读已提交的时候,binlog_format只能设置为row或者mixed。建议使用row 总结 1、mysql为什么选择使用可重复读来作为默认的隔离级别?