首页
学习
活动
专区
圈层
工具
发布

MySQL 8.0 InnoDB压缩行格式性能测试

背景信息 多年前我对InnoDB表压缩格式做了个简单的测试,得到的结论大概是: InnoDB采用compressed行格式后,OLTP整体性能大约为原来的1/10,压缩率约为50%。...尝试过用TokuDB当做Zabbix的后端数据库,效果还不错,详情见 迁移Zabbix数据库到TokuDB。...随着MySQL 8.0.20的发布,我又重燃了对compressed行格式的兴趣,今日就此再做了个简单测试。 1....根据测试结果的几点结论: a) 当数据无法全部放在buffer pool中的时候,如果是读多写少的业务场景,则用Compressed行格式性能更高。...总结 根据上面的测试结果来看,如果是下面几种业务场景,则可以考虑使用InnoDB表想要使用compressed行格式: a) 对压缩比需求不是特别高,本案中,只压缩了 25% ~ 34% 数据量,优势不大

1.8K30

MYSQL INNODB表压缩

压缩前提 表压缩能提升性能,减少存储空间,主要是用在字符类型比较大的表上(VARCHAR,VARBINARY和BLOB和TEXT类型),且读多写少的情况下,如果你的应用是io密集型的,不是cpu密集型的...,那么压缩会带来很多性能的提升,例如:数据仓库。...key_block_size这个值决定了每个压缩chunk的大小,多少行能被打包到一个压缩页中。 压缩测试 ? ? ?...新加,该表提供每一张表和索引的压缩情况,测试时候需要开启innodb_cmp_per_index_enabled参数 压缩参数 innodb_file_format = Barracuda(之前是Antelope...InnoDB未压缩的数据页是16K,根据选项组合值,mysql为每个表的.ibd文件使用1kb,2kb,4kb,8kb,16kb页大小,实际的压缩算法并不会受KEY_BLOCK_SIZE值影响,这个值只是决定每个压缩块有多大

10.7K40
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL表压缩和页压缩,难道只是空间压缩?

    临近春节,相信每个公司都会进行全面巡检,无论是业务层还是数据库层,达到事前预防的目的;今天就来分享一下针对MySQL数据存储层面,在数据库存储来不及扩容的情况下,MySQL中的压缩方案; 日常工作中很多业务在表结构设计之初不会考虑存储的设计...而物理存储主要是考虑是否要启用表的压缩功能,默认情况下,所有表都是非压缩的。但说到压缩,总会下意识地认为压缩会导致 MySQL 数据库的性能下降。这个观点说对也不对,需要根据不同场景进行区分。...表压缩 数据库中的表是由一行行记录(rows)所组成,每行记录被存储在一个页中,在 MySQL 中,一个页的大小默认为 16K,一个个页又组成了每张表的表空间。...通常我们认为,如果一个页中存放的记录数越多,数据库的性能越高。这是因为数据库表空间中的页是存放在磁盘上,MySQL 数据库先要将磁盘中的页读取到内存缓冲池,然后以页为单位来读取和管理记录。...总之,COMPRESS 页压缩,适合用于一些对性能不敏感的业务表,例如日志表等 为了 解决压缩性能下降的问题,从MySQL 5.7 版本开始推出了 TPC 压缩功能,其利用文件系统的空洞(Punch Hole

    4.5K20

    MySQL分库分表中间件-RadonDB性能测试

    这个级别的硬件环境基本上跑NewSQL产品都跑不起来,这个测试也是给想使用MySQL分布式(分库分表),又不想在硬件上花非常大投入的朋友一个参考。...:利用RadonDB实现MySQL分库分表这里为了简化环境,MySQL都是单点对外提供服务没在做高可用,本次测试也主要为了测试Radon。...从资源使用上看, 随着分表数量增加后,在请求不变的情况下后端MySQL的CPU基本达到100%,后端MySQL已经达到性能瓶颈。...11352.885 85000(约) 从测试脚本中了解到该测试每个TPS相当于比原来基于主键操作的TPS多了4个SQL请求,但实质上后面对于数据库的请求,随着分表的数量增多后呈现倍增多。...,不要拆分太多分表,为了应对更多的分表问题,也可以考虑对后端MySQL引入更强劲的CPU,从而获得性能提升。

    1.7K10

    第12期:压缩表性能监测

    上一篇(第11期:压缩表)已经了解了压缩表的相关概念、索引页的影响以及简单使用。这篇主要来介绍如何观测压缩表。 一、压缩表的使用场景分类 1....DELETE 业务 由于 MySQL 对删除的操作是直接写标记位,然后等待定期的 PURGE 线程清理,这块也适合用压缩表。 4....通过这些表可以监控到压缩表是否健康,是否需要调整压缩页,或者说是否适合用压缩表等。...接下来看看压缩表的监测的实际用例,使用单表空间建立两张表: t1 :未压缩表 t2 :page 为 4K 的压缩表 执行建表 mysql> create table t1(id int, r1 text...删除数据 重启 MySQL 实例,对压缩表 t2 进行删除与更新操作;或者清空表 INNODB_CMP 和 INNODB_CMP_PER_INDEX,也就是执行对应后缀为 _RESET 的表。

    1.7K30

    性能测试 —— MySQL 基准测试

    概述 MySQL 作为我们日常开发中,使用最多的数据库(基本没有之一),但我们很多开发人员对 MySQL 的性能规格了解得非常少。所以,本文我们想一起来,对 MySQL 本身做一个性能基准测试。...如果对其他测试工具感兴趣,可以看看如下两篇文章: 《数据库性能测试》 强烈推荐,提供了很多的 MySQL 硬件方面的性能优化的方向。...4. sysbench FROM 《性能测试工具 sysbench》 sysbench 是一个模块化的、跨平台、多线程基准测试工具,主要用于评估测试各种不同系统参数下的数据库负载情况。...它主要包括以下几种方式的测试: CPU 性能 磁盘 IO 性能 调度程序性能 内存分配及传输速度 POSIX 线程性能 数据库性能(OLTP 基准测试) 目前 sysbench 主要支持 MySQL、...执行命令后,会自动生成数据库的表、和数据。

    10.8K42

    性能测试之mysql数据库如何调优?

    一、Mysql性能指标及问题分析和定位 1、我们在监控图表中关注的性能指标大概有这么几个:CPU、内存、连接数、io读写时间、io操作时间、慢查询、系统平均负载以及memoryOver 2、介绍下Grafana...模板中各性能指标的意思 这个是Mysql数据库的连接数 这个图标表示了慢查询 上图就是Mysql数据库的缓存区,展示了最大缓存以及已使用缓存等数据 3、性能分析 一般在产生Mysql瓶颈的时候往往伴随着的是...CPU使用率急速上升,需要top看一下是哪个线程占据了大量的CPU资源,如果发现Mysql进程占用较高,那么基本可以判断是Mysql数据库出现了问题。...对于数据库的操作基本上就是大量的查询,会导致数据库出现性能问题。对有问题的场景使用Jmeter模拟场景进行并发,并观察Grafana的图表。...(1)在负载测试中,通过Grafana图表观察Memory Over这个图表,如果发现占用基本占满所分配给Mysql数据库缓存区的内存,然后IO读写时间非常长,读写频率非常高,那基本上是可以判断是缓存区较小导致的问题

    2.5K10

    MySQL 性能测试经验

    二、测试方法 1、测试工具:mysqlslap,mysqlslap是MySQL5.1.4之后自带的benchmark基准测试工具,该工具可以模拟多个客户端同时并发的向服务器发出查询更新,给出了性能测试数据而且提供了多种引擎的性能比较...152547 2、测试流程:建立测试数据库database和待测试的表tables → 根据table的结构,利用脚本生成一定数量的有效随机数据 → 利用mysqlslap对相应query语句进行测试...3、关键语句:考虑到资源平台的实际应用情况,通过资源属性查询资源的操作为主要操作,且这类操作的耗时占总操作耗时的比例为最大,故对应这类操作的查询语句为关键语句,对整个数据库性能影响很大,我们可以通过测试这个关键语句得出的结果来评估整个数据库的性能...然后将整个建表和存储数据的过程写进一个sql脚本中,并在mysql中运行这个脚本,待测试的表和数据就建立好了。...云数据库搬迁实例解析 MySQL数据库的高可用性分析 MySQL数据库设计总结

    11.4K31

    MYSQL 8.0 XTRABACKUP 备份压缩与部分表恢复

    --compress-threads  这个参数就是要保证你到底用多少的CPU 来进行数据的压缩 例如 那么估计会有人问,那你压缩完毕了,我怎么恢复数据库,是不是需要一个解压缩的过程,这个过程到底在哪里...mydumper来完成,而不是xtrabackup 下面我们看看 1 前提条件是你的mysql 必须是开启 innodb_file_per_table的 2 备份的方式也可以是1个表 一群表,或者一个数据库中的一组表...3 还原方没有同名的表 xtrabackup -usys -p1234.Com --socket=/data/mysql/mysql.sock --backup --target-dir=/data/...--tables="test_1" 2 在备份后对表进行export  xtrabackup --prepare --export --target-dir=/data/backup1 3 在需要恢复表的数据库上建立与表同样的表名和结构的数据表...4  然后直接  ALTER table 表名 discard tablespace; 将原有的表的表空间卸载 5  将备份文件夹下的表拷贝到目的数据库的文件夹下 6  ALTER TABLE 表名

    4.4K20

    Sysbench测试云MySQL性能

    所以这里我们可以来测试一下云MySQL的性能,从测试数据上看是否可以更好的解答此用户的问题。...://sysbench.sourceforge.net)这是一款开源的多线程系统基准测试工具,可以用于测试CPU、内存、磁盘I/O线程和数据库的性能,目前数据库支持MySQL、Oracle和PostgreSQL...本文主要介绍以下两个话题: 1.腾讯云MySQL性能测试结果 2.sysbench安装与使用介绍 腾讯云MySQL性能测试结果 以下笔者测试了腾讯云MySQL5.7版本的不同配置服务器对应的指标。...以上测试过程中的参数见在线表格,表格在不断更新完善中。(数据库性能测试(腾讯云 ))https://docs.qq.com/sheet/DTmNWZWdzdFJJWERR?...=  端口 --mysql-user= 账户名 --mysql-password= 密码 --mysql-db= 数据库名 --tables=表数 --table-size= 表行数 --threads

    5.1K40

    MySQL 数据库表分区.

    MySQL 数据库在 5.1 版本时添加了对分区(partitioning)的支持。分区的过程是将一个表或索引分解成多个更小、更可管理的部分。...MySQL 数据库支持的分库类型为水平分区(指将同一表中不同行的记录分配到不同的物理文件中),并不支持垂直分区(指将同一表中不同列的记录分配到不同的物理文件中)。...MySQL 查看数据库分区。 SHOW VARIABLES LIKE '%partitions%'; MySQL 数据库支持以下几种类型的分区。...对于 OLAP(在线分析处理) 的应用,分区的确是可以很好地提高查询的性能,因为 OLAP 应用大多数查询需要频繁地扫描一张很大的表。假设有一张 1 亿行的表,其中有一个时间戳属性列。...我们通过 Navicat 来操作下数据库分区,表 -> 右键点击'设计表' -> 选项 -> 分割区,可以看到如下内容。 ? 来看看分区后,磁盘中 MySQL 数据库是怎么存储的。 ?

    13K20

    MySQL 搭建数据库表

    创建MySQL数据表需要以下信息: 表名 表字段名 定义每个表字段 语法 以下为创建MySQL数据表的SQL通用语法: CREATE TABLE table_name (column_name column_type...); 以下例子中我们将在 RUNOOB 数据库中创建数据表runoob_tbl: CREATE TABLE IF NOT EXISTS `runoob_tbl`( `runoob_id` INT...---- 通过命令提示符创建表 通过 mysql> 命令窗口可以很简单的创建MySQL数据表。你可以使用 SQL 语句 CREATE TABLE 来创建数据表。...实例 以下为创建数据表 runoob_tbl 实例: root@host# mysql -u root -p Enter password:******* mysql> use RUNOOB; Database...使用PHP脚本创建数据表 你可以使用 PHP 的 mysqli_query() 函数来创建已存在数据库的数据表。 该函数有两个参数,在执行成功时返回 TRUE,否则返回 FALSE。

    14.3K10

    MySQL 高性能表设计规范

    相关文章: MySQL高性能表设计规范:http://www.jianshu.com/p/f797bbe11d76 MySQL EXPLAIN详解:http://www.jianshu.com/p/ea3fc71fdc45...一、选择优化的数据类型 MySQL支持的数据类型非常多, 选择正确的数据类型对于获得高性能至关重要。...相反, 在反范式化的数据库中, 信息是冗余的, 可能会存储在多个地方。 范式的优点和缺点 为性能提升考虑时,经常会被建议对 schema 进行范式化设计,尤其是写密集的场景。...混用范式化和反范式化 在实际应用中经常需要混用,可能使用部分范式化的 schema 、 缓存表,以及其他技巧。 表适当增加冗余字段,如性能优先,但会增加复杂度。可避免表关联查询。...参考资料: 高性能mysql第三版

    1.3K20

    性能测试告诉你 mysql 数据库存储引擎该如何选?

    现在许多不同的数据库管理系统都支持多种不同的数据引擎。MySQL 的核心就是插件式存储引擎。...;缺点:频繁的更新、删除数据容易产生碎片,需要定期执行 OPTIMIZE TABLE 或者 myisamchk-r 命令来改善性能 压缩表:因为每个记录是被单独压缩的,所以只有非常小的访问开支 适用场景...MyISAM 引擎强调的是性能,读性能非常好,比 Innodb 速度要快。...MySQL 数据库默认是开启事务的,Innodb 引擎表,要在提交大量数据时,可以先关闭自动提交事务 set autocommit=0; 待数据执行完后,再开启事务自动提交 set autocommit...MyISAM 支持全文索引(fulltext)、压缩引擎,Innodb 不支持 MyISAM 引擎表索引和数据分开存在两个不同格式文件中,并且索引是压缩的;而 Innodb 表的索引和数据是捆绑在一起的

    2.2K00

    MySQL 数据库和表操作

    MySQL服务器中的 【数据库】 以文件夹的形式存放在data目录下,本章讲解如何优雅地使用SQL命令操作数据库和数据表。...一、数据库操作 1.连接MySQL服务器 mysql -uroot -p mysql数据库类型有四个库 (information_schema,mysql,performance_schema,sys)...2.创建数据库 CREATE DATABASE 库名; #查看数据库 show databases; 3.指定数据库 若要操作数据库中的表或数据则需要先指定使用哪个库; #指定使用mysql库 USE...mysql; 如果想连接上数据库就可以使用某个库,可以在登录的时候指定库 #例如登录MySQL服务器 指定使用mysql库 mysql -uroot -p mysql #查看当前使用的库 SELECT...DROP DATABASE 库名; #查看数据库 show databases; 5.重命名数据库 MySQL 5.7 没有重命名库的SQL命令! 但是可以通过其他方式达到目的,例如备份...

    8K30
    领券