核心军规 尽量不在数据库做运算 控制单表数据量 纯INT不超过10M条,含Char不超过5M条 保持表身段苗条 平衡范式和冗余 拒绝大SQL,复杂事务,大批量任务 字段类军规 用好数值字段,尽量简化字段位数...把字符转化为数字 优先使用Enum或Set 避免使用Null字段 少用并拆封Text/Blob 不在数据库中存图片 索引类军规 谨慎合理添加索引 字符字段必须建立前缀索引?...数据库的字符集,要用 utf8mb4,而不是utf8。...因为MySQL的utf8不是真正的UTF-8,只支持最多三个字节的字符。真正的UTF-8可能会出现四个字节的字符。...MySQL 从来没有修复这个 Bug,而是使用另外的解决方法:真正的UTF-8字符集用 utf8mb4的名字提供。
来自:www.slideshare.net/mysqlops/mysql-9838563 来自一线的实战经验,主要针对DBA和后端开发人员,总是在灾难发生后,才想起容灾的重要性;总是在吃过亏后,才记得曾经有人提醒过...核心军规 尽量不在数据库做运算 控制单表数据量 纯INT不超过10M条,含Char不超过5M条 保持表身段苗条 平衡范式和冗余 拒绝大SQL,复杂事务,大批量任务 字段类军规 用好数值字段,尽量简化字段位数...把字符转化为数字 优先使用Enum或Set 避免使用Null字段 少用并拆封Text/Blob 不在数据库中存图片 索引类军规 谨慎合理添加索引 字符字段必须建立前缀索引?
MySQL数据库开发的 36 条军规 标签:数据库 核心军规(5个) 尽量不在数据库做运算。 控制单表数量:行不超过500W条,超出分表;列不超过50个,超过拆表。...NULL(NULL字段很难查询优化、NULL字段的索引需要额外空间、NULL字段的复合索引无效) 尽量少用text/blob类型(尽量使用varchar代替text字段),需要的时候请拆表 不在数据库存图片...pinyin`(8)), 不在列上做运算 Innodb主键推荐使用自增列(主键建立聚簇索引,主键不应该被修改,字符串不应该做主键) 不用外键(由程序保证约束) SQL类军规(16个) SQL语句尽可能简单(一条SQL...只能在一个cpu运算,大语句拆小语句,减少锁时间,一条大SQL可以堵死整个库) 简单的事务(事务时间尽可能短,坏的代码案例:上传图片事务) 避免使用trigger/func(触发器、函数不用,由客户端程序取而代之...limit高效分页(limit越大,效率越低) limit 10000,10 改为 where id >xxx limit 11 使用union all替代union(union有去重开销) 发生高并发时,数据库少用两个表以上的
在设计数据库的时候会考虑给字段设置什么类型,设置多少长度合适,之前一直认为varchar(2)可以存储一个汉字,或者一个数字,通过今天无意间的查询,发现了这个错误,来记下来 其实varchar类型可以存储多少个汉字...,多少个数字,是要具体看我们的mysql版本。...通过查看,我使用的是5.0版本以上 的数据库,所以说一个varchar长度对应一个汉字或者一个数字 以为的版本为例做了如下测试: 新建表: CREATE TABLE varchar_test ( `id...123456789012345678901'); [Err] 1406 - Data too long for column'string' at row 1 通过测试,我们也能得出结论: 5.0版本以上的MySQL
nums WHERE id + i<=cnt; SET i = i*2; END; END WHILE;END$$ DELIMITER ; 生成数据,本次准备生成1kw条记录.../* 创建表nums_2 */mysql> create table nums_2(p1 varchar(32) primary key ,id int ,c1 varchar(10) not null...可以查统计信息,2.1中会介绍具体方法 精确查找数据量,则可以通过count(主键字段),count(*), count(1) [这里的1可以替换为任意常量] 2.1 非精确查询 如果只是查一张表大致有多少数据...,尤其是很大的表 只是查询其表属于什么量级的(百万、千万还是上亿条),可以直接查询统计信息,查询方式有如下几种: 查询索引信息,其中Cardinality 为大致数据量(查看主键PRIMARY行的值,如果为多列的复合主键...因此,建议MySQL的主键使用自增id作为主键(优势不仅在数据统计上,有机会在讲解)。
Power BI 2024年2月条形柱形图推出了重叠功能,这使得我们可以方便的制作下图这种进度条。...知识星球提供源文件 完整的进度是100%,所以新建一个度量值: M.进度条.完整 = 1 将以上度量值和实际的进度放入簇状条形图的X轴: 布局设置中的重叠打开,系列间距为100%: M.进度条.完整这个度量值的边框打开
二、可观测性:从“埋头修改”到“实时反馈” “能用”阶段的黑盒困境 在缺乏可观测性的系统中,修改代码就像在黑暗中行走。...一个典型场景:某团队优化了数据库查询逻辑,本地测试性能提升明显,但上线后系统响应时间反而变慢。问题在于他们的优化基于理想数据分布,而生产环境的数据存在严重倾斜。...不仅记录错误日志,更要记录正常流量的关键指标——请求耗时分布、数据库慢查询、缓存命中率、第三方服务调用延迟等。 更进一步的做法是建立对比实验平台。...各个模块之间直接调用,数据库表之间存在复杂的外键关系,业务逻辑散落在多个层次中。这种设计在功能稳定时没有问题,但一旦需要改动,就会陷入困境。...当团队尝试升级客户信息的字段结构时,发现需要同步修改另外两个模块的十几处代码,以及数据库的多张表。最终这个“简单”的需求花费了三周时间,期间还引发了两次线上问题。团队从此对架构调整心存恐惧。
最近有两篇MySQL大咖级人物的文章引起了小伙伴们的关注,文章内容是关于MySQL的hash join功能。...MySQL的hash join功能是在8.0.18版本正式推出的,最初的功能仅支持inner join,其它连接类型也即将支持。(空口无凭,有图为证!?) ?...https://dev.mysql.com/worklog/ 在这里简单的介绍一下MySQL的hash join 在各种连接类型的实现方法。...hash join能用吗?使用效果如何?
核心军规 1、不在数据库做运算 cpu计算务必移至业务层 2、控制单表数据量 int型不超过1000w,含char则不超过500w; 合理分表; 限制单库表数量在300以内; 3、控制列数量...good case: 'age' int not null default 0 10、少用text/blob varchar的性能会比text高很多; 实在避免不了blob,请拆表; 11、不在数据库里存图片...主键建立聚簇索引; 主键不应该被修改; 字符串不应该做主键; 如果不指定主键,innodb会使用唯一且非空值索引代替; 16、不用外键 请由程序保证约束; sql类军规 17、sql语句尽可能简单 一条sql...只能在一个cpu运算; 大语句拆小语句,减少锁时间; 一条大sql可以堵死整个库; 18、简单的事务 事务时间尽可能短; 19、避免使用trig/func 触发器、函数不用; 客户端程序取而代之;...where phone=’159′ or phone=’136′; => select id from t where phone in (’159′, ’136′); 22、OR改写为UNION mysql
前言 Mysql 的索引是我们常用的,但实际了解多少呢?下面通过几个案例小问题来测验下,后面会有答案及相关解释 测试问题 问题1 下面的索引适合这个查询吗?
数据库擅长存储与索引,CPU计算还是上移吧。 (5)禁止存储大文件或者大照片 解读:为何要让数据库做它不擅长的事情?大文件和照片存储在文件系统,数据库里存URI多好。...高并发情况下容易造成数据库性能,大数据高并发业务场景数据库使用以性能优先。...四、字段设计规范 (14)必须把字段定义为NOT NULL并且提供默认值 解读: a)null的列使索引/索引统计/值比较都更加复杂,对MySQL来说更难优化。...b)null 这种类型MySQL内部需要进行特殊处理,增加数据库处理记录的复杂性;同等条件下,表中有较多空字段的时候,数据库的处理性能会降低很多。...(29)禁止使用OR条件,必须改为IN查询 解读:旧版本Mysql的OR查询是不能命中索引的,即使能命中索引,为何要让数据库耗费更多的CPU帮助实施查询优化呢?
作者:my笔触 原文:http://www.cnblogs.com/yuxiuyan/p/6511837.html MySQL是我们经常使用的数据库处理系统(DBMS),不知小伙伴们有没有注意过其中的“...存储引擎的概念是MySQL的特点,Oracle中没有专门的存储引擎的概念,Oracle有OLTP和OLAP模式的区分。不同的存储引擎决定了MySQL数据库中的表可以用不同的方式来存储。...当删除、更新父表中的某条信息时,子表也必须有相应的改变,这是数据库的参照完整性规则。 InnoDB中,创建的表的表结构存储在.frm文件中(我觉得是frame的缩写吧)。...所以,这类数据库只使用在相对较小的数据库表。 注意,同一个数据库也可以使用多种存储引擎的表。如果一个表要求比较高的事务处理,可以选择InnoDB。...这个数据库中可以将查询要求比较高的表选择MyISAM存储。如果该数据库需要一个用于查询的临时表,可以选择MEMORY存储引擎。
MySQL基础概念相关的名词还是挺多的,比如3大范式、4种隔离界别、ACID、DQL、DML、DDL,还有redo、undo、binlog等,本文就统一整理下MySQL常见的基础概念,方便小伙伴们翻阅~...常见索引结构 •B+树索引:B+ 树是关系型数据库中常见的索引类型。...undo log是逻辑日志,在执行undo时,仅仅是将数据逻辑上恢复至事务之前的状态,而不是从物理页上操作的,这一条不同于redo log。...事务开始时将当前版本生成undo log,undo也会产生redo来保证undo log可靠性;•binlog:binlog是mysql层面的归档日志,可用于主从复制和数据库基于时间点的还原。...References [1] binlog顺序错乱: https://bugs.mysql.com/bug.php?id=989
在学习工作中,我通常使用偏后端的开发语言ABAP,SQL进行任务的完成,对SAP企业管理系统,SAP ABAP开发和数据库具有较深入的研究。...前言 今天突发奇想,一条这样的 SQL 语句【SELECT * FROM user】能查询出多少条记录?...单行最大存储空间限制又是多少呢? 单行最大存储空间 MySQL 单行最大宽度是 65535 个字节,也就是 64KB 。无论是 InnoDB 引擎还是 MyISAM 引擎。 ...---- 答案 文章写到这里,其实答案已经逐渐浮出水面了,“一条 SQL 最多能查询出来多少条记录?”...写在最后的话 本文花费大量时间介绍了一条查询SQL语句最多能查询出多少条记录,希望能帮助到各位小伙伴,码文不易,还望各位大佬们多多支持哦,你们的支持是我最大的动力!
手头有些 csv/xls 文件,比如这样的:这种数据很适合用 SQL 做查询,但可惜 SQL 只能用在数据库,要安装个数据库并把这些文件导入,为这么个目标搞的整个应用系统都臃肿很多,实在是划不来。...ct on t.Client=ct.Client其实,spl 并不是一个专门提供 SQL 语法的产品,它本身有 SPL 语法,SQL 只是在 SPL 的基础上顺便提供的,所以 SPL 可以做到不依赖于数据库执行...))} where Amount>=100 and Client like 'bro' or OrderDate is nullSPL 还能访问来自 mongodb,kafka,…的数据,当然普通关系数据库更不在话下...).group@i(Price数据库计算能力
来源:我们都是小青蛙 作者:小孩子4919 不知道从什么时候开始,网上流传着这么一个说法: MySQL的WHERE子句中包含 IS NULL、IS NOT NULL、!...NULL值是怎么在记录中存储的 在MySQL中,每一条记录都有它固定的格式,我们以InnoDB存储引擎的Compact行格式为例,来看一下NULL值是怎样存储的。...在Compact行格式下,一条记录是由下边这几个部分构成的: ?...聚簇索引和二级索引都对应着像上图一样的B+树(也就是说有多少个索引就有多少棵对应的B+树),不过: 对于聚簇索引索引来说,页面中的记录是按照主键值进行排序的;而对于二级索引来说,页面中的记录是按照给定的索引列的值进行排序的...; 这样的话需要统计的key1值所在的区间就太多了,这样就不能采用index dive的方式去真正的访问二级索引idx_key1,而是需要采用之前在背地里产生的一些统计数据去估算匹配的二级索引记录有多少条
不知道从什么时候开始,网上流传着这么一个说法: MySQL的WHERE子句中包含 IS NULL、IS NOT NULL、!= 这些条件时便不能使用索引查询,只能使用全表扫描。...NULL值是怎么在记录中存储的 在MySQL中,每一条记录都有它固定的格式,我们以InnoDB存储引擎的Compact行格式为例,来看一下NULL值是怎样存储的。...在Compact行格式下,一条记录是由下边这几个部分构成的: ?...聚簇索引和二级索引都对应着像上图一样的B+树(也就是说有多少个索引就有多少棵对应的B+树),不过: 对于聚簇索引索引来说,页面中的记录是按照主键值进行排序的;而对于二级索引来说,页面中的记录是按照给定的索引列的值进行排序的...; 这样的话需要统计的key1值所在的区间就太多了,这样就不能采用index dive的方式去真正的访问二级索引idx_key1,而是需要采用之前在背地里产生的一些统计数据去估算匹配的二级索引记录有多少条
在mysql中设计表的时候,mysql官方推荐不要使用uuid或者不连续不重复的雪花id(long形且唯一,单机递增),而是推荐连续自增的主键id,官方的推荐是auto_increment,...本篇博客的目录 mysql程序实例 使用uuid和自增id的索引结构对比 总结 一、mysql和程序实例 1.1.要说明这个问题,我们首先来建立三张表 分别是user_auto_key,user_uuid...带着疑问,我们来探讨一下这个问题: 二、使用uuid和自增id的索引结构对比 2.1.使用自增id的内部结构 image.png 自增的主键的值是顺序的,所以Innodb把每一条记录都存储在一条记录的后面...并不是,自增id也会存在以下几点问题: ①别人一旦爬取你的数据库,就可以根据数据库的自增id获取到你的业务增长信息,很容易分析出你的经营情况 ②对于高并发的负载,innodb在按主键进行插入的时候会造成明显的锁争用...在实际的开发中还是根据mysql的官方推荐最好使用自增id,mysql博大精深,内部还有很多值得优化的点需要我们学习。
MySQL作为关系型数据库的典型代表,在国内环境里经历风雨磨砺,不断地精进,已经在开发和运维方面,成型了一套的规范。...这些规范让了解和使用MySQL更加得心应手,并对后期的一些问题起到了很好的预防作用。 结合个人经验,下面具体讲解十个“合规检查”: 1. 数据库大表信息查看 统计某库下各表大小,不要存在过大的表信息。...做好上线数据库设计方面的合规检查,是必不可少的流程。...擅长MySQL、Redis、MongoDB数据库高可用设计和运维故障处理、备份恢复、升级迁移、性能优化。自学通过了MySQL OCP 5.6和MySQL OCP 5.7认证。...2年多开发经验,10年数据库运维工作经验,其中专职做MySQL工作8年;曾经担任过项目经理、数据库经理、数据仓库架构师、MySQL技术专家、DBA等职务;涉及行业:金融(银行、理财)、物流、游戏、医疗、
有没有一种方式,即能通过 Jupyter Notebook 安装 python 模块,并且还能看到进度条。...这个时候发现了 python 超好用的 tqdm 包 tqdm 介绍 tqdm 作用 tqdm` 是一个 Python 的进度条库,可以在 Python 的循环中添加一个进度条,以便在终端中实时显示进度...这样做是为了防止进度条在终端上产生干扰。 tqdm 原理 tqdm 通过记录循环的总次数和当前已完成的次数来判断进度。...它会根据已完成的次数和总次数来计算进度百分比,并根据进度百分比来更新进度条的显示。同时,tqdm 还会根据已完成的时间和已完成的次数来估算剩余时间,并在进度条中显示出来。...总之,tqdm 通过记录已完成的次数和总次数来判断进度,并根据进度百分比和剩余时间来更新进度条的显示。