首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏写代码和思考

    MySQL学习笔记(9) MySQL性能优化

    背景 本文讨论一些性能优化的原则和方法。 2.知识 性能优化是通过合理安排资源,调整MySQL参数,服务器环境等手段使得MySQL 运行更快,更节省资源。 常见的优化方法: 查询优化 数据库表结构设计优化 MySQL所在的服务器优化 可以从多个方面进行性能优化,原则是 尽量减少系统的瓶颈,减少资源的占用,加快系统的响应速度。 比如: 优化系统的文件系统,以提高磁盘I/O的读写速度; 优化操作系统调度策略,以提高MySQL在高负荷情况下的负载能力; 优化表结构,索引,查询语句使得查询的响应更快。 它虽然很灵活,但执行效率不高,MySQL 需要未内层查询语句的查询结果建立一个临时表,然后外层的查询语句从临时表里再次查询。查询完毕后,销毁这些临时表。 优化 MySQL 服务器 硬件优化 配置较大内存 配置高速磁盘 合理分布磁盘I/O 多处理器等 优化MySQL配置文件的参数 MySQL配置参数在my.cnf , my.ini 文件中,根据经验修改参数达到优化目的

    57110发布于 2021-06-29
  • 来自专栏软件工程师成长笔记

    9月17-MySQL性能优化

    MySQL性能优化策略 1、MySQL内核架构 2、索引原理与查询优化 加速MySQL高效查询数据的数据结构 二分查找(binary search) 二叉树查找(binary tree search) 务必注意影响结果集的定义是什么 行级锁会带来更新的额外开销,但是通常情况下是值得的 2)事物提交 对I/O效率提升的考虑 对安全性的考虑 HEAP内存引擎 1)频繁更新和海量读取情况下仍会存在锁定状况 索引优化 InnoDB MyISAM索引文件(.MYI)、数据文件(MYD) 1)所有的索引都是对等的 2)KEY 4、内存使用考量 5、分布式缓存Cache Redis、Memcached是最流行的分布式缓存 MySQL 、读写分离 主从复制 1)读写分离对负载的减轻远远不如分库分表来的直接 2)写压力会传递给从表,只读从库一样有写压力,一样会产生读写锁 3)负载均衡主要使用分库方案,主从主要用于热备和故障转移 MySQL Cluster:高可用 1)同步复制 2)自动故障切换 3)自我修复 4)无共享架构,无单点故障 5)跨地域复制 9、分库分表、分片Sharding策略 分片Sharding策略,MySQL

    47230发布于 2018-10-10
  • 来自专栏Java进阶架构师

    mysql优化专题」详解引擎(InnoDB,MyISAM)的内存优化攻略?(9

    上一篇我们讲了关于视图应用与优化,本篇我们讲解内存优化。本篇短小精悍,通俗易懂。 ? 注意:以下都是在MySQL目录下的my.ini文件中改写。 一、InnoDB内存优化 InnoDB用一块内存区域做I/O缓存池,该缓存池不仅用来缓存InnoDB的索引块,而且也用来缓存InnoDB的数据块。 二、MyISAM内存优化 MyISAM存储引擎使用key_buffer缓存索引模块,加速索引的读写速度。对于MyISAM表的数据块,mysql没有特别的缓存机制,完全依赖于操作系统的IO缓存。 三、调整MySQL参数并发相关的参数 1、调整max_connections 提高并发连接 2、调整thread_cache_size 加快连接数据库的速度,MySQL会缓存一定数量的客户服务线程以备重用 ,通过参数thread_cache_size可控制mysql缓存客户端线程的数量。

    1.2K20发布于 2018-08-15
  • 来自专栏技术杂记

    mysql 迁移9

    要确保mysql 数据库的 datadir是清空的,否则会报错 [root@slave02 data]# cat restore.log nohup: ignoring input Warning: /usr/bin/innobackupex version 2.3.2 based on MySQL server 5.6.24 Linux (x86_64) (revision id: 306a2e0 ) Original data directory /var/lib/mysql is not empty! ) Original data directory /var/lib/mysql is not empty! 开头的文件 如: .bash_history .lesshst .mysql_history .viminfo 要指明删,如 rm -rf .bash_history .lesshst .mysql_history

    1.9K20编辑于 2022-03-21
  • 来自专栏技术杂记

    mysql 迁移9

    要确保mysql 数据库的 datadir是清空的,否则会报错 [root@slave02 data]# cat restore.log nohup: ignoring input Warning: /usr/bin/innobackupex version 2.3.2 based on MySQL server 5.6.24 Linux (x86_64) (revision id: 306a2e0 ) Original data directory /var/lib/mysql is not empty! ) Original data directory /var/lib/mysql is not empty! 开头的文件 如: .bash_history .lesshst .mysql_history .viminfo 要指明删,如 rm -rf .bash_history .lesshst .mysql_history

    1.8K20编辑于 2022-03-22
  • 来自专栏程序IT圈

    MySQL 性能优化9 种姿势,面试再也不怕了!

    这样MySQL内部 会启动为你优化JOIN的SQL语句的机制。而且这些被用来JOIN的字段,应该是相同的类型的。 9优化de的查询语句 不使用子查询 例:SELECT * FROM t1 WHERE id (SELECT id FROM t2 WHERE name=’hechunyang’); 子查询在MySQL5.5 在MariaDB10/MySQL5.6版本里,采用join关联方式对其进行了优化,这条SQL会自动转换为 SELECT t1.* FROM t1 JOIN t2 ON t1.id = t2.id; 但请注意的是 :优化只针对SELECT有效,对UPDATE/DELETE子查询无效,固生产环境应避免使用子查询 避免函数索引 例: SELECT * FROM t WHERE YEAR(d) >= 2016; 由于 另外,MySQL 系列面试题和答案全部整理好了,微信搜索民工哥技术之路,可以查看MySQL企业面试题,在线阅读。

    1.4K20发布于 2021-11-23
  • 9个SQL优化技巧

    大多数的接口性能问题,很多情况下都是SQL问题,在工作中,我们也会定期对慢SQL进行优化,以提高接口性能。这里总结一下常见的优化方向和策略。 过度索引:当表中存在过多的索引时,可能会导致数据库优化器在选择使用哪个索引时变得困难。这可能会导致查询性能下降,因为优化器可能选择了不是最优的索引。 为了优化这个查询,我们可以考虑以下几种方法: 索引优化: 确保在 customer_id 字段上创建索引,以加速 GROUP BY 和 WHERE 子句的执行。 条件优化: 使用WHERE条件在分组前,就把多余的数据过滤掉了,这样分组时效率就会更高一些。而不是在分组后使用having过滤数据。 深分页limit优化深分页通常指的是在处理大量数据时,用户需要浏览远离首页的页面,例如第100页、第1000页等。

    1.3K10编辑于 2024-05-21
  • 来自专栏Howl同学的学习笔记

    Mysql优化

    InnoDB MyISAM 事务处理 支持 不支持 全文搜索 不支持 支持 SELECT ,UPDATE,INSERT,DELETE 大量INSERT或UPDATE | DELETE 表一行一行的删除 大量SELECTDELETE | DELETE表先DROP再重建 AUTO_INCREMENT 自增计数器仅存储在主内存中 锁 表锁,行级锁 表锁 外键 支持 不支持 行数 扫描表来计算 保存行数 存储 把数据和索引存放在表空间里面 表被存放在三个文件 跨平台 跨平台可直接拷贝使用 跨平台很难直接拷贝 压

    1.1K40发布于 2020-03-10
  • 来自专栏Lambda

    mysql优化

    索引:(Index) 是帮助mysql高效获取数据的 数据结构 1. 索引目的在于提高查询效率,可以类比字典 2. 可以简单理解为"排好序的快速查询数据结构" 3. 服务器配置文件优化 1. MySQL允许最大的进程连接数, 2. 每个主机的连接请求异常中断的最大次数, 3. 设置表高速缓存的数目, 4. 查询优化: 1. 3. order by group by 优化 慢查询日志:

    1.3K20编辑于 2022-04-13
  • 来自专栏devops_k8s

    Mysql优化

    为什么优化 为了获得成就感? 为了证实比系统设计者更懂数据库? 为了从优化成果来证实优化者更有价值? no 但通常事实证实的结果往往会和您期待相反! 优化有风险,涉足需谨慎! 优化风险 1 . 优化不可避免涉及到变更,变更就有风险! 7 . 优化使性能变好,维持和变差是等概率事件! 8 . 优化不能只是数据库管理员担当风险,但会所有的人分享优化成果! 9 . 谁参与优化 数据库管理员业务部门代表 应用程序架构师 应用程序设计人员 应用程序开发人员 硬件及系统管理员 存储管理员 image.png 优化方向 安全优化(业务持续性) 性能优化(业务高效性) 这个阶段,需要我们DBA深入业务,或者要和开发人员\业务人员配合实现 优化,最根本的是"优化"人; Mysql参数优化测试(8c32g) 服务器配置 image.png image.png time 背景: 硬件环境: DELL R720,E系列16核,48G MEM,SAS*900G*6,RAID10 在例行巡检时,发现9-11点时间段的CPU压力非常高(80-90%) 2.

    1.9K62发布于 2021-06-21
  • 来自专栏云计算linux

    MySQL优化

    15 MySQL优化 数据库性能优化看起来只牵扯到数据库,但其实范围涉及极广,从计算机和网络硬件到操作系统,网络设计到安全,从各种软件再到数据库本身,性能优化从来都不是单一的,而是一个整体。 在进行MySQL优化之前,必须要了解的就是MySQL的查询过程,很多查询优化工作实际上就是遵循一些原则,让MySQL优化器能够按照预想的合理方式运行而已。 应用程序方面: 应用程序稳定性; SQL语句性能; 串行访问资源; 性能欠佳会话管理; 这个应用适不适合用MySQL。 数据库优化方面: 内存; 数据库结构(物理&逻辑); 实例配置。 系统优化 CPU: 基本不需要调整,在硬件选择方面下功夫即可。 内存: 基本不需要调整,在硬件选择方面下功夫即可。 SWAP: MySQL尽量避免使用swap。 阿里云的服务器中默认swap为0。 32G内存以上100M SQL优化 1. 选取最适用的字段属性 MySQL可以很好的支持大数据量的存取,但是一般说来,数据库中的表越小,在它上面执行的查询也就会越快。

    45810编辑于 2024-12-07
  • 来自专栏allsmallpi博客

    MySQL优化

    认为必须检查的用来返回请求数据的行数; extra:using filesort、using temporary(常出现在使用order by时)时需要优化。      看到这个的时候,查询就需要优化了     -Using temporary 使用了临时表。看到这个的时候,也需要优化 (3)PROFILING分析SQL语句 1.开启profile。 包括执行状态、是否锁表等 mysql> SHOW processlist; (4)PROCEDURE ANALYSE()取得建议 通过分析select查询结果对现有的表的每一列给出优化的建议 mysql 只需在批量删除数据行之后,或定期(每周一次或每月一次)进行一次数据表优化操作即可,只对那些特定的表运行。 ; 五、定位慢查询 MySQL慢查询 六、分区 MySQL分区和分表 七、配置优化 MySQL配置优化

    93520发布于 2021-02-25
  • 来自专栏友弟技术工作室

    mysql优化

    上篇文章是关于mysql优化的,那个内容是我大学的时候学习的笔记,最近学习发现一些比较好的内容,在这里分享给大家。 版权源于网上。 工作中使用最多的就是MySQL, 但是mysql优化也就是通过建索引以及缓存数据来优化的。使用explain比较多。对于其他的优化技能没有使用过。 ? 层相关优化 3.1、关于版本选择 官方版本我们称为ORACLE MySQL,这个没什么好说的,相信绝大多数人会选择它。 基本可满足90%以上的场景; 8、设置long_query_time = 1,而在5.5版本以上,已经可以设置为小于1了,建议设置为0.05(50毫秒),记录那些执行较慢的SQL,用于后续的分析排查; 9、 子查询的性能比较差,建议改造成JOIN写法; 7、多表联接查询时,关联字段类型尽量一致,并且都要有索引; 8、多表连接查询时,把结果集小的表(注意,这里是指过滤后的结果集,不一定是全表数据量小的)作为驱动表; 9

    2.1K70发布于 2018-04-25
  • 来自专栏开发笔记

    MySQL优化

    SQL优化发生在业务量达到一定规模的时候 目的是优化SQL的执行效率 MySQL 优化 优化范围 硬件资源 操作系统参数,数据库参数配置 SQL语句,索引优化 SQL优化 数据库设计优化【规范,前期设计 任何地方都不要使用 select * from t ,用具体的字段列表代替“*”,不要返回用不到的任何字段 尽量避免使用游标,因为游标的效率较差,如果游标操作的数据超过1万行,那么就应该考虑改写 后记——了解MySQL 索引目的 提高查询效率 【类比字典和借书】 如果要查“mysql”这个单词,我们肯定需要定位到m字母,然后从下往下找到y字母,再找到剩下的sql。 ----------------2019/10/9 参考《MySQL DBA工作笔记》中杨建荣老师举得一个非常形象的例子: “比如某公司里面有一个开发小组,组长管理一些程序员,自己也参与开发工作”——B MySQL默认使用B+Tree索引 索引本身也很大,所以存储在磁盘中,需要加载到内存中执行。 故:索引结构优劣标准:磁盘I/O次数 BTree是为了充分利用磁盘预读功能而创建出来的一种数据结构。

    1.3K40发布于 2020-01-22
  • 来自专栏后端码事

    MYSQL 优化

    深度应用者则着眼于从改进Mysql软件自身层面,或者开发另外的数据库引擎和硬件应用来拓展Mysql的生态系统。 数据库层面优化 影响数据库应用性能的最重要因素其设计的合理性: 表的结构是否合适? 如果基础的优化指引无法解决性能问题,则可以通过执行计划调整索引,查询条件,联合条件等(执行计划优先)。 调整MySQL缓存使用的内存大小及属性。 如果要使用Condition pushdown,则需修改为 b = 9。 IS NULL 优化 MySQL对col_name IS NULL 的优化和对col_name = constant_value的优化方式一样。 MySQL也可以优化类似col_name = expr OR col_name IS NULL这样的组合。这种形式通常见于子查询。

    3K40发布于 2020-09-11
  • 来自专栏devops_k8s

    Mysql优化

    为什么优化 为了获得成就感? 为了证实比系统设计者更懂数据库? 为了从优化成果来证实优化者更有价值? no 但通常事实证实的结果往往会和您期待相反! 优化有风险,涉足需谨慎! 优化风险 1 . 优化不可避免涉及到变更,变更就有风险! 7 . 优化使性能变好,维持和变差是等概率事件! 8 . 优化不能只是数据库管理员担当风险,但会所有的人分享优化成果! 9 . 谁参与优化 数据库管理员业务部门代表 应用程序架构师 应用程序设计人员 应用程序开发人员 硬件及系统管理员 存储管理员 1111 优化方向 安全优化(业务持续性) 性能优化(业务高效性) 避免业务逻辑错误,避免锁争用.这个阶段,需要我们DBA深入业务,或者要和开发人员\业务人员配合实现优化,最根本的是"优化"人; Mysql参数优化测试(8c32g) 服务器配置 time用于计时 dd 背景: 硬件环境: DELL R720,E系列16核,48G MEM,SAS*900G*6,RAID10 在例行巡检时,发现9-11点时间段的CPU压力非常高(80-90%) 2.

    1.4K30编辑于 2022-05-09
  • 来自专栏编程之禅

    MySQL优化

    MySQL优化 MySQL 优化方案 对于 **MySQL** 的性能优化,大部分情况下都是想减少查询所消耗的时间;而一个查询是由很多个环节组成,那么就需要从每个环节消耗时间进行入手。 配置优化(连接) 当客户端连接到服务端有可能服务端连接数不够导致应用程序获取不到连接而报出 **Mysql: error 1040: Too many connections**** **的错误。 中提供了一个执行计划工具,通过该工具可以模拟优化执行 **SQL** 查询语句的过程得到 **MySQL**  是怎么对一条 **SQL** 语句的过程并且可以对其进行分析。 where** 过滤,表示存储引擎返回的记录并不是所有满足查询条件,需要在 **Server** 层进行过滤 EXPLAIN SELECT * FROM `user` WHERE password = 'b9aae9537ca945ae9382525efd73bed0 通过模拟优化器执行 **SQL** 查询语句的过程得到 **MySQL** 是怎么处理一条 **SQL** 语句的并可以对其进行语句或表的性能瓶颈。

    94920编辑于 2022-05-10
  • 来自专栏全栈程序员必看

    MySql优化

    mysql多表连接查询的模式 左表和右表的共有部分,即内连接 SELECT fileds FROM TableA AS A INNER JOIN TableB AS B ON A.key1 = fields FROM TableA AS A RIGHT JOIN TableB AS B ON A.key1 = B.key2 WHERE A.key1 IS NULL; 左表的全部+右表的全部 mysql 索引的概念 官方定义:索引是帮助mysql高效获取数据的数据结构。划重点:数据结构。 查看索引 SHOW INDEX FROM tableName\G 其中,tableName是表名,\G是为了显示格式优化。 7. 9.

    90630编辑于 2022-08-05
  • 来自专栏码客

    Mysql优化

    表示查询超过3秒才记录; 清空日志后慢查询就不会继续写入了,重启后才能继续写入 set global slow_query_log=0; set global slow_query_log=1; 连接优化 /sys/vm/dirty_ratio sudo sysctl vm.dirty_background_ratio=10 sudo sysctl vm.dirty_ratio=20 my.cnf参数优化优化主要针对innodb引擎 创建慢查询日志文件 cd /var/log/ mkdir mysql cd mysql vi mysql-slow.log 打开配置文件 vi /etc/my.cnf where b like ‘haha%’ order by time limit 100; 第二种优化方法(注意:这种方法只适用于mysql引擎是myisam的): 语句不变,将haha字段加为全文索引 索引 参见:Mysql优化-索引 Show Profile【重点】 是什么 mysql提供可以用来分析当前会话中语句执行的资源消耗情况。

    1.1K20发布于 2019-10-22
  • 来自专栏大大刺猬

    MYSQL优化

    本文主要参考官网的优化 https://dev.mysql.com/doc/refman/5.7/en/optimization.html优化SQL语句没得完美的优化方案, 要么牺牲写性能(多数情况是这样 嵌套循环连接算法Nested-Loop Join Algorithms嵌套连接优化mysql的cross join 等价于 inner join (标准sql不是这样的)###(左右)外连接避免全表扫描优化 可以偶尔收集下索引的统计信息多数情况(范围)用btree, 要快速响应 k=v 这种情况可以用hash索引(无需的,排序很麻烦)不要在索引字段使用函数或者其它计算, 比如 where id+1 > 10 改为 where id>9优化数据库结构尽可能分配最小的空间 优化器成本模型 相当于oracle的 CBO主要跟两个表有关: mysql.server_cost 和 mysql.engine_cost如果值非空(默认NULL)的话, 计算的时候就会考虑这个值, ##外部锁外部锁定是使用文件系统锁定来管理MyISAM多个进程对数据库表的争用 innodb不涉及mysql服务器的优化系统优化:尽量不要使用swap, 性能确实比不上内存, (内存不够的除外)避免

    1.3K20编辑于 2022-11-09
领券