首页
学习
活动
专区
圈层
工具
发布

Mysql千万级大表添加字段锁表?

MySQL 大表数据添加新字段 有时候我们在测试环境给一个表添加字段,但是在线上环境添加一个字段,却极其的慢。...原因是线上的数据库一般会存有大量的数据(百万级,千万级),基本的添加字段方式在线上数据库已经不太合适了。...通过中间表转换过去 创建一个临时的新表,首先复制旧表的结构(包含索引) > create table user_new like user; 给新表加上新增的字段 把旧表的数据复制过来 > insert...,导致新表数据流失不完整 总结 生产环境MySQL添加或修改字段主要通过如下四种方式进行,实际使用中还有很多注意事项 直接添加 如果该表读写不频繁,数据量较小(通常1G以内或百万以内),直接添加即可(可以了解一下...,切换后再将其他几个节点上添加字段 将现有MySQL版本5.7升级到8.0.12之后的版本 相关文章 Mysql事务 Mysql中的索引 Mysql通过binlog恢复数据

13.8K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    亿级大表如何修改表结构【MySQL】

    大表虽然修改表结构会产生很多问题,但是大表本身是可以做优化的,最明显的优化就是去除不必要的索引或者将多个单个索引合并成一个索引,减少大表索引数据量大小,进而减少修改表索引的时间。...简单的来说,就是新建一张表,然后将你需要修改的表结构先添加上去,因为是空表,所以可以瞬间完成修改。后面再通过数据同步工具,将原表的数据导入到新表中。...当数据导入差不多的时候,将原表修改为原表_copy,新表修改为原表的名称,这一步也叫做表切换。...4.3 切换表数据丢失问题 切换表名这一步,数据库层面做不了限制,首先MYSQL不支持在锁住表的情况下,再去修改表名。...其实很简单,一方面大部分公司的数据量达不到亿级,另一方面也没办法保证copy替换原表数据的完整性,所以宁愿选择用户访问量少的,也不愿意用其它的方式。

    6.7K10

    MySQL表级锁与行级锁 转

    表级锁 MySQL表级锁分为读锁和写锁。...表级锁在MyISAM和innoDB中都有用到,创建锁的开销小,不会出现死锁,由于锁定的是整张表,所以并发度低。...当需要频繁对大部分数据做 GROUP BY 操作或者需要频繁扫描整个表时,推荐使用表级锁。 行级锁 行级锁是Mysql中锁定粒度最细的一种锁,能大大减少数据库操作的冲突,由于其粒度小,加锁的开销最大。...共享锁(S LOCK) 用法:SELECT ...LOCK IN SHARE MODE; Mysql会对查询结果中的每行都加共享锁,当没有其他线程对查询结果集中的任何一行使用排他锁时,可以成功申请共享锁...行级锁都是基于索引的,如果一条SQL语句用不到索引是不会使用行级锁的,会使用表级锁。行级锁的缺点是:由于需要请求大量的锁资源,所以速度慢,内存消耗大。 (责任编辑:IT)

    3.1K20

    MySQL分库分表中间件-RadonDB性能测试

    5.7.28 mysql04 192.168.0.4 16核16G内存 600G SSD企业级 MySQL 5.7.28 mysql07 192.168.0.7 16核16G内存 600G SSD企业级...表,每张表100万的数据集,争取数据全部在MySQL的Buffer Pool缓存命中请求。...从资源使用上看, 随着分表数量增加后,在请求不变的情况下后端MySQL的CPU基本达到100%,后端MySQL已经达到性能瓶颈。...基于基于hash拆分,对于区间查询和非拆分键的查询,存在请求扩大的问题,这种请求会大量的无效的查询会给后端MySQL节点带来CPU较高的问题(现有业界的中间件都在这样的问题,例如: MyCAT) 后端节点不够多的情况下...,不要拆分太多分表,为了应对更多的分表问题,也可以考虑对后端MySQL引入更强劲的CPU,从而获得性能提升。

    1.7K10

    ⑩⑦【MySQL】锁:全局锁、表级锁、行级锁

    全局锁、表级锁、行级锁 1....锁的分类: MySQL中的锁,按照锁的粒度分,可分为下述三类: ①全局锁:锁定数据库中所有的表。 ②表级锁:每次操作锁住整张表。 ③行级锁:每次操作锁住对应的行数据。 2....表级锁 表级锁: 表级锁,每次操作锁住整张表。锁定粒度大,发生锁冲突的概率最高,并发度最低 。应用在MyISAM、InnoDB、BDB等存储引擎中。...表锁 表级锁分类: ①表锁 :表共享读锁(read lock) / 表独享写锁(write lock) -- 设置表锁 -- 设置了读锁read lock,当前客户端和其他客户端都只能读不能写。...⚪在MySQL5.5中引入了MDL,当对一张表进行增删改查的时候,加MDL读锁(共享) ;当对表结构进行变更操作的时候,加MDL写锁(排他) 。

    1.9K30

    开源中间件Vitess助力MySQL实现分库分表

    裸设备到云的迁移 Vitess相对MySQL改进 MySQL Vitess 每个MySQL连接的内存开销都在256KB到3MB之间,具体取决于您使用的是哪个MySQL版本。...MySQL缺乏本地分片支持,要求您编写分片代码并在应用程序中嵌入分片逻辑。 Vitess支持各种分片方案。它还可以将表迁移到不同的数据库中,并扩大或缩小碎片的数量。...通过Vtctl可以标识主从数据库, 创建表, 启动故障转移, 执行分片(重新分片)等操作。 vtctld vtctld是一个HTTP服务器,允许您浏览存储在锁服务器中的信息。...每个Shard在物理硬件上由多个MySQL实例和Tablet实例组成,一个shard具体包括:一个Master Mysql实例、一个Replica MySQL实例、一个ReadOnly MySQL实例和三个...Vindexes分片键(路由)的设置 选择作为分片键的字段值应尽量唯一; 在路由计算之前先将Sharding Key转换成字节数组,[0x80]是Sharding key的一个中间值。

    5K31

    laravel生成无限级分类

    无限级分类是很常见的功能,算法的好坏对于获取分类树的性能起到决定性的作用。...尤其当分类数据和层级多时,一个糟糕的算法将使服务器不堪重负 以下用laravel实现无限级分类功能,包括: 数据表设计 填充模拟数据 生成分类树 分类树的后台维护 数据表设计 字段名 描述 id 主键id...name 类目名称 parent_id 父类目 ID is_directory 是否拥有子类目 level 当前类目层级 path 该类目所有父类目 id 为什么要用level与path 无限级分类中...lowLevelPath) === 0) { // 判断蓝牙耳机的path值是否以移动电源的path值为开头 echo '存在层级关系'; } else { echo '并无层级关系'; } 创建数据表...'path')->comment('该分类的所有父类id, 用 - 连接'); $table->timestamps(); }); } 执行迁移创建数据表

    3.6K40

    MariaDB(11.4 GA)解决了MySQL临时表空间无限增大的问题

    MariaDB(11.4 GA)解决了MySQL临时表空间无限增大的问题受影响版本:MySQL 5.7 和 8.0MySQL BUG复现步骤:1.创建一个包含1000万行记录的 sbtest1 表(可以使用...2.创建一个临时表 sbtest2,其结构与 sbtest1 相同:mysql> CREATE TEMPORARY TABLE sbtest2 LIKE sbtest1;3.向临时表sbtest2 插入...1000行数据:mysql> INSERT INTO sbtest2 SELECT * FROM sbtest1;4.退出会话,临时表sbtest2 被系统自动删除:mysql> EXIT;5.然而,在...MySQL中,InnoDB 临时表(例如 ibtmp1)所占的空间不会被释放,导致专用共享表空间不断增大。...> SET GLOBAL innodb_truncate_temporary_tablespace_now = 1;这一改进有效避免了MySQL中临时表空间持续膨胀的问题。

    63110

    MYSQL 中间件分表是一个好主意?

    中间件分表是不是一个好的主意?...通过中间件来对MYSQL的数据进行分表是一个常见的对于大数量的解决的方案,通过中间件将应用的数据在中间层进行路由,通过路由将一张表的数据,映射到不同物理数据库上的表,通过应用设计的分片键将数据根据规则存储在不同的物理服务器上...分表的起因主要由三点组成 (基于MYSQL数据库) 1 数据量大,单体数据库无法承载单表的数据量 2 数据量大,数据访问出现在优化后,数据访问缓慢的问题,数据写入性能的问题等等 3 单体数据库在大数据量后的运维难度提高...在分表后,我们解决了单体MYSQL无法解决的一些问题,那么这是一个好主意吗? 这里且不武断的评判这是不是一个好的注意,我们看看在我们分库分表后,我们会遇到什么其他的问题。...5 一些特殊语句的执行的性能问题难以解决,这类查询如count() , distinct ,order by 等查询,在中间件上通过对每个数据库表进行扫描的方式进行累加或排除的方式,操作时的性能问题突出

    56430

    MySQL 中的表级锁很差劲吗?

    1.锁 我们先来大致说一下 MySQL 中的锁。...当多个事务或者多个进程访问同一个资源的时候,为了保证数据的一致性,就需要用到 MySQL 锁机制,从锁定资源的角度来看,MySQL 中的锁大致上可以分为三种: 表级锁(table-level locking...虽然理论上有三种锁,但是对于在坐的各位小伙伴包括松哥而言,我们日常开发接触最多的还是前两种,就是表级锁和行级锁。...在 MySQL 中,MyISAM 引擎是表级锁,而 InnoDB 引擎则支持行级锁,不过需要注意,其实 InnoDB 也支持表级锁,只不过默认情况下是行级锁。...2.表级锁 MySQL 的表级锁有两种模式: 表共享读锁(Table Read Lock)。 表独占写锁(Table Write Lock)。

    1.5K40

    MySQL表分区实战指南:高效管理亿级大表的秘诀

    根据行业统计,全球数据总量预计在2025年将达到175ZB,而企业级应用中的数据表规模早已突破亿级甚至十亿级。在这样的背景下,MySQL作为最流行的关系型数据库之一,面临着前所未有的性能挑战。...通过将一个大表在物理上分割为多个更小的、更易管理的部分(即分区),同时在逻辑上保持为单一表的形态,MySQL分区功能让亿级数据表的管理变得可行。...例如,按时间范围分区的订单表,在查询某个月的数据时,数据库只会访问对应的月份分区,而不是扫描整张表。这种机制使得查询响应时间从分钟级下降到秒级甚至毫秒级。 数据管理也因此变得更加高效。...MySQL分区类型详解:范围、列表、哈希与键分区 在MySQL中,分区技术通过将大表拆分为更小、更易管理的部分,显著提升亿级数据表的查询性能和管理效率。...随着MySQL版本迭代,分区功能持续优化,例如在MySQL 8.0中增强了分区修剪和性能监控能力。 实战步骤:从零开始为亿级表添加分区 在开始实际操作前,必须做好充分准备。

    1.5K10

    Mysql 中间件 Atlas MySQL

    Atlas MySQL 详细介绍 Atlas是由 Qihoo 360,  Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。...主要功能: * 读写分离 * 从库负载均衡 * IP过滤 * SQL语句黑白名单 * 自动分表 Q & A ------------------- Q: 是否支持多字符集?...IP和端口,2代表权重,用来作负载均衡,若省略则默认为1,可设置多项,用逗号分隔 daemon = false    #设置Atlas的运行方式,设为true时为守护进程方式,设为false时为前台方式...监听的管理接口IP和端口 min-idle-connections = 128    #连接池的最小空闲连接数,可根据业务请求量大小适当调大或调小 tables = person.mt.id.3    #分表设置...,此例中person为库名,mt为表名,id为分表字段,3为子表数量,可设置多项,以逗号分隔 pwds = user1:+jKsgB3YAG8=, user2:GS+tr4TPgqc=    #用户名与其对应的加密过的密码

    2.2K40

    分库分表就能无限扩容吗

    如果你的公司产品很受欢迎,业务继续高速发展,数据越来越多,SQL 操作越来越慢,那么数据库就会成为瓶颈,那么你肯定会想到分库分表,不论通过 ID hash 或者 range 的方式都可以。...任凭你用户再多,并发再高,我只要无限扩容数据库,无限扩容应用,就可以了。 这也是本文的标题,分库分表就能解决无限扩容吗? 实际上,像上面的架构,并不能解决。...通常,我们的 RPC 应用由于是使用中间件进行访问数据库,应用实际上是不知道到底要访问哪个数据库的,访问数据库的规则由中间件决定,例如 sharding JDBC。...这就导致,这个应用必须和所有的数据库连接,就像我们上面的架构图一样,一个 RPC 应用需要和 3 个 mysql 连接,如果是 30 个 RPC 应用,每个 RPC 的数据库连接池大小是8 ,每个 mysql...到这里,我们终于解决了无限扩容的问题。 最后 本文从单体应用开始,逐步讲述了一个正常后台的演进历程,知道了分库分表并不能解决“无限扩容” 的问题,只有单元化才能解决这问题。而单元化则带来更多的复杂性。

    83520

    MYSQL一次千万级连表查询优化

    那么这SQL不优化直接第一次执行需要多久(这里强调第一次是因为MYSQL带有缓存功能,执行过一次的同样SQL,第二次会快很多。) ?...8、执行distinct去重复数据 9、执行order by字句 10、执行limit字句 这里得知,Mysql 是先执行内联表然后再进行条件查询的最后再分组,那么想想这SQL的条件查询和分组都只是一个表的...总结: 整个过程中我们得知,其实EXPLAIN有时候并不能指出你的SQL的所有问题,有一些隐藏问题必须要你自己思考,正如我们这个例子,看起来临时表是最大效率低的源头,但是实际上9W的临时表对MYSQL来说不足以挂齿的...还有其他方案 那么我们怎么优化呢,这里用的是内联表查询,大家都是知道子查询完全是可以代替内联表查询的,只不过SQL语句复杂了不少,那么我们分析一下这SQL,两个表分表提供了什么?...总结: 其实这个优化方案跟我上一篇文章MYSQL一次千万级连表查询优化(一)解决原理一样,都是解决了内联表后数据就变得臃肿了,这时候再进行条件查询和分组就太吃亏了,于是我们可以先对单表进行条件处理,再进行连表查询

    4.4K51
    领券