首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏DBA随笔

    pt-slave-restart工具

    pt-slave-restart工具 在MySQL主从复制环境的搭建中,常常会遇到一种场景,主库和从库都要初始化用户的账号密码,正常的情况下,需要在主库和从库都关闭session级别的binlog 工具来进行事务跳过,命令如下: . pt-slave-restart不能确定GTID事件是哪个特定slave线程执行失败的事务。 如果需要使用,请暂时关闭多线程复制的workers 关于pt-slave-restart的其他参数,可以使用pt-slave-restart --help的命令查看,也可以参考下面的常见参数列表: -- -error-text :根据错误信息进行匹配跳过 --log :输出到文件 --recurse :在主端执行,监控从端 --runtime :工具执行多长时间后退出

    2.5K20发布于 2020-09-27
  • 来自专栏开源部署

    MySQL归档 pt-archiver 工具

    /pt-archiver --help Archive all rows from oltp_server to olap_server and to a file: pt-archiver --source %t' \ --where "1=1" --limit 1000 --commit-each Purge (delete) orphan rows from child table: pt-archiver 在pt-archiver处理这么多行之后,如果指定该参数,它会提交--source和--dest,并刷新--file给出的文件。 --where:指定WHERE子句以限制存档的行。 /pt-archiver --source u=system,p=**,h=10.15.7.114,P=3306,D=test,t=t1 --file=/tmp/%Y-%m-%d-%D. /pt-archiver line 6563. '1', 1='1', 2='1'] at ./pt-archiver line 6563. [mysql@mysqlt1 bin]$.

    2.1K00编辑于 2022-08-17
  • mysql pt工具包安装与工具介绍

    pt工具介绍 Percona Toolkit即pt工具,用于管理MySQL的工具,主要功能含检查主从复制的数据一致性、检查重复索引、定位IO占用高的表文件、在线DDL等。 安装pt工具 wget -c install https://www.percona.com/downloads/percona-toolkit/3.0.1/binary/redhat/7/x86_64 3.0.1-1.el7.x86_64.rpm yum localinstall percona-toolkit-3.0.1-1.el7.x86_64.rpm 存放路径:/usr/bin下操作命令 开发类工具 : 性能类工具: 配置类工具: 监控类工具: 复制类工具: 系统类工具: 实用类工具: 使用 command --help 来查看每个命令的具体作用和使用方法

    15610编辑于 2025-12-23
  • 来自专栏MySQL技术

    Pt-Online-Schema-Change 工具使用

    Perconal 推出一个工具 pt-online-schema-change,简称pt-osc,其特点是修改过程中不会造成读写阻塞。本文将简单介绍pt-osc的工作原理,安装方法及使用场景。 pt-osc使用条件: 表要有主键,否则会报错。 表不能有trigger。 in @INC错误 则需执行yum -y install perl-Digest-MD5安装相关组件 提示缺少perl-DBI模块,那么直接 yum install perl-DBI 场景1:增加列 pt-online-schema-change age int(11) default null" D=test,t='test_tb' --execute --print --statistics --no-check-alter 场景2:删除列 pt-online-schema-change -alter "drop column age" D=test,t='test_tb' --execute --print --statistics --no-check-alter 场景3:更改列 pt-online-schema-change

    1.8K21发布于 2019-09-08
  • 来自专栏数据库干货铺

    MySQL自我保护工具--pt-kill

    因此需要借助工具进行监控并自动kill超预期执行的SQL。 2. 工具介绍 pt-kill的主要使用场景简介如下 2.1 查杀select大于30s的会话 # 只打印-查杀select大于30s的会话 pt-kill --host=127.0.0.1 --port=3306 # 执行杀操作-查杀select大于30s的会话 pt-kill --host=127.0.0.1 --port=3306 --user=root --password=rootpwd --match-db 2.2 查杀某IP来源的会话 # 只打印-查杀某IP来源的会话 pt-kill --host=127.0.0.1 --port=3306 --user=root --password=rootpwd 注意 对线上MySQL数据库部署pt-kill工具,需要与业务方沟通相关策略,并将查杀结果记录在日志中定期推送kill的SQL至相关人员

    1.1K10编辑于 2021-12-13
  • 来自专栏爱可生开源社区

    技术分享 | Online DDL 工具 pt-osc

    ---- Online DDL 工具pt-osc 对于 MySQL Online DDL 目前主流的有三种工具: 原生 Online DDL; pt-osc(online-schema-change) , gh-ost 本文主要讲解 pt-online-schema-change 的使用以及三种工具的简单对比。 如果 MySQL 版本是 5.6 之前,不支持 Online DDL,选用第三方工具 pt-osc 或 gh-ost; 2. 如果 MySQL 版本是 5.6 以上,对于使用 copy table 方式的 DDL,不支持 Online,使用第三方工具 pt-osc 或 gh-ost; 3. 对于使用 Inplace rebuild table 方式的 DDL,如果想使 DDL 过程更加可控,且对从库延迟比较敏感,使用第三方工具 pt-osc 或 gh-ost,否则使用原生 Online DDL

    6.2K31发布于 2020-09-23
  • 来自专栏DBA随笔

    MySQL大表删除工具pt-osc​

    // MySQL大表删除工具pt-osc // 业务场景介绍 早上刚来,有个业务需求,是要变更一张表的表结构,我登陆到服务器上看了看之前的变结构,大概信息如下: 表数据量:690w左右, 表字段数量 使用pt-osc工具修改表结构 pt-osc工具PT工具包里面的一种,它的全称是pt-online-schema-change,看这个名字,不难猜出来,它是为了在线修改表结构来才创建出来的,所谓的在线修改表 pt-osc工具的工作原理及步骤 : 1. 创建需要执行alter操作的原表的一个临时表,然后在临时表中更改表结构。 2. pt-online-schema-change工具包含了很多参数,我们可以使用--help的方法去查看,这里我不再一一介绍,只说几个常用的: --alter: 结构变更语句,不需要alter table 指定此选项可以让你看到该工具所执行的语句 --user= 连接mysql的用户名 --password= 连接mysql的密码 --host= 连接mysql的地址 P=

    2.7K10发布于 2019-11-06
  • 来自专栏DBA随笔

    pt-osc工具引发的主从延迟

    关于pt-osc工具,可以看我之前写过的文章,里面讲的也比较清楚了。 ,不知道,有知道的朋友可以告知下),使用pt工具操作是为了保证一定对线上的表没有任何影响。 (事实证明还是百密一疏~) pt工具的执行如下: [root@ ]$pt-online-schema-change --user=dba_admin --password=xxxx -hrm-xxxxxxx.mysql.rds.aliyuncs.com pt-osc工具执行的中间表给drop掉,这样pt-osc工具的执行过程就停止了。 最后是等到这个pt-osc工具的insert操作做完之后,SBM值才变成0,主从数据才实现同步。

    1.7K20发布于 2020-04-26
  • 来自专栏数据库相关

    pt-archiver归档工具的使用详解

    之前的percona-toolkit工具集的使用博文里面也写到pt-archiver这个工具的用法,但是不够深入全面。这里补充完善下。 注意:pt-archiver操作的表必须有主键。 查看帮助: perldoc  pt-archiver Specify at least one of "--dest","--file", or "--purge". 进行重试的间隔(默认1s)     --no-version-check   目前为止,发现部分pt工具对阿里云RDS操作必须加这个参数     --analyze=ds      操作结束后,优化表空间 一般建议也是pt-archiver操作结束后,在业务低谷手动执行analyze table用以回收表空间。 pt-archiverBug不会迁移max(id)那条数据的解决方法: 参考:http://www.ttlsa.com/mysql/pt-archiver-bug-cannot-migration-max-id-record

    7.4K31发布于 2019-09-18
  • 来自专栏爱可生开源社区

    技术分享 | 数据校验工具 pt-table-checksum

    工具持续监控副本。如果任何副本在复制过程中远远落后,pt 表校验和会暂停以使其赶上来。如果任何副本有错误,或者复制停止,pt-table 校验和将暂停并等待。 然而,一个必须经常重启的共工具是很难使用的。因此,pt 表校验和对错误具有很强的弹性。例如,如果数据库管理员出于任何原因需要杀死 pt-table-checksum 的查询,这就不是一个致命错误。 ⽤户经常运行 pt-kill 来终止任何长时间运行的校验和查询。该工具将重试一次已杀死的查询,如果再次失败,它将移动到该表的下一个块。如果存在锁等待超时,则应用相同的行为。 如果发生这样的错误,工具将打印一个警告,但每个表只打印一次。如果到任何服务器的连接失败,pt-table-checksum 将尝试重新连接并继续⼯作。 4. 操作步骤 1. 创建主从架构 ? 校验 3.1 下载安装 pt 工具 #下载 wget https://www.percona.com/downloads/percona-toolkit/3.1.0/binary/tarball/percona-toolkit

    1.8K20发布于 2020-12-31
  • 来自专栏DBA随笔

    pt-osc工具的一个细节

    //pt-osc工具的一个细节// 在MySQL中,如果我们需要对大表进行变更,往往使用gh-ost或者pt-osc工具,我平日里使用pt-osc比较多,来说说这个工具使用过程中的一个细节吧。 关于pt-osc工具,之前写过两篇文章,分别是: MySQL大表删除工具pt-osc pt-osc工具引发的主从延迟 有兴趣可以点击链接进行查看,今天来看pt工具的另外一个特性。 01 直接ctrl+c停止pt-osc工具这个命令 使用ctrl+c的方法,停止这个pt-osc的命令,可以得到如下的输出: ^C# Exiting on SIGINT. 可以看到,使用drop中间表的方法,pt工具会自动drop掉触发器,同时,给出报错信息。 2、drop 中间表_test_new的方式结束pt-osc命令,pt工具会自动drop掉触发器,但是触发器写入_test_new表中的部分数据会丢失。

    1.4K11发布于 2020-07-01
  • 来自专栏MySQL数据库技术栈

    PT-OSC在线DDL变更工具使用攻略

    pt-online-schema-change可以在不阻塞读写的情况下在线整理表结构、收集碎片、给大表加字段和索引,并且可以实时查看执行进度。 PT-OSC工具的限制 原表上不能有触发器。 原表必须有主键。 如果原表有外键,需要使用--alter-foreign-keys-method指定特定值,否则工具不予执行。 注意:如果不加这个参数,这个工具会在执行一些检查后退出。这一举措是为了让使用充分了解了这个工具的原理,同时阅读了官方文档。 --alter:结构变更语句,可以指定多个更改,用逗号隔开。 如果要删除外键,使用工具的时候外键名要加下划线,比如 --alter “DROP FOREIGN KEY _fk_foo”。 auto:自动选择实现方式,工具会优先使用rebuild_constraints方式。

    2.4K23发布于 2020-08-05
  • 来自专栏ops技术分享

    Mysql一致性效验_pt工具--部署

    .* TO 'check'@'%' identified by '123456'; mysql>flush privileges; 说明:指定host为安装软件的机器ip 4.执行: pt-table-checksum 测试: 主不写,从写入1条数据,再运行效验工具,可以看到错误

    74210发布于 2021-06-16
  • Centos7安装MySQL5.7以及PT工具

    重启服务sudo systemctl restart mysql # Ubuntusudo systemctl restart mysqld # CentOS安装 Percona Tools工具 sudo percona-release enable tools release# 安装 Percona Toolkitsudo yum install percona-toolkit -y# 验证pt-query-digest

    40010编辑于 2025-05-22
  • 来自专栏ops技术分享

    Mysql一致性效验_pt工具--原理

    一.简介 pt工具可以随机抽取主从的数据进行对比,用于测试主从数据一致性。也可以对不一致数据进行修复。 这种校验是分表进行的,在每个表内部又是分块进行的,而且pt工具本身提供了非常多的限 流选项,因此对线上服务的冲击较小。 pt工具选择智能分析表上的索引,然后把表的数据split成一个个chunk,计算的时候也是以chunk为单位。 连接到主库:pt工具连接到主库,然后自动发现主库的所有从库。默认采用show full processlist来查找从库,但是这只有在主从实例端口相同的情况下才有效。 如果没有延迟备份的从库在运行,最好检查所有的从库,如果发现延迟最大的从库延迟超过max-lag秒,pt工具在这里将暂停。 如果发现主库的max-load超过某个阈值,pt工具在这里将暂停。

    94920发布于 2021-06-16
  • 来自专栏ops技术分享

    Mysql一致性效验_pt工具--常用选项

    使用选项: --[no]check-replication-filter 是否检查复制过滤规则,如果主库和从库都没有过滤规则,可以选择不检查过滤规则 --[no]check-binlog-format pt 的最大大小,超过这个值的chunk则跳过 --check-slave-lag 指定只检查某个从库的延迟,不指定则检查所有从库的延迟 --max-lag 最大延迟,如果从库与主库之间的延迟超过这个值, pt 将会等待从库与主库同步 --max-load 最大负载,如果主库上的负载超过这个值, pt将会等待主库的负载降低 限制选项: --replicate 指定检查的结果存放位置,默认存放在percona.checksums

    62620发布于 2021-06-16
  • 来自专栏DBA 平台和工具

    Percona pt-archiver重构版--大表数据归档工具

    Percona pt-archiver重构版--大表数据归档工具相信很多小伙伴们,在日常对接开发时,有很多大表在业务上并没有采取任何形式的切分,数据不停地往一张表里灌入,迟早有一天,磁盘空间报警。 Percona pt-archiver工具是这样做的,逐条把历史数据insert到归档表,同时删除原表数据。 具体的工作原理:1、如果表有触发器、或者表有外键、或者表没有主键或者主键字段默认不是id、或者binlog_format设置的值不是ROW格式,工具将直接退出,不予执行。 注:考虑到删库跑路等安全性问题,工具没有对原表进行任何删除归档数据的操作。使用yum install php php-mysql -y######下面的配置信息修改成你自己的!!! set global sql_mode=''; 已兼容MySQL8.0###############################################如果对原表进行删除归档数据,可以借助原生工具

    79140编辑于 2023-09-25
  • 来自专栏SEian.G学习记录

    【Percona-toolkit系列】Percona Toolkit工具pt-archiver

    之间的文章《【Percona-toolkit系列】Percona-toolkit工具包的安装和使用》介绍了Percona-toolkit工具包的安装,接下来我们来介绍该工具包中的一个工具pt-archiver 用于数据归档; DBA经常会遇到需定期对数据进行归档和清除,可利percona的pt-archiver工具能完成这一功能,使得数据归档变得方便简单。 pt-archiver可以很轻松的将生产环境的历史数据归档到文件或者直接删除,还可以不同主机间同步数据,而不用将数据落盘,实现的功能有点类似Oracle的数据泵和dblink;pt-archiver一款非常好用的数据归档及清理历史数据的工具 做数据归档后要依赖于perl-DBI和perl-DBD-MySQL包,否则就会出现如下的报错信息,所以在工具使用前,做好将相关的依赖包安装好; [root@VM_54_118_centos ~]# pt-archiver 二、不同实例之间同步数据 使用pt-archiver可以将历史数据搬到备份库,或者在两个库之间在线同步数据。

    1.8K10发布于 2021-03-03
  • 来自专栏字根中文校对软件

    Oracle PT of StatSpack

    Statspack 是 Oracle 提供的一个实例级的Tuning工具。很多DBA都喜欢用这个工具来进行数据库的优化调 整。不过在交流中发现很多朋友对这个工具的的运用还有一些 问题。

    66550发布于 2019-02-14
  • 来自专栏数据库相关

    使用pt-fifo-split 工具往mysql插入海量数据

    工具将文件分割成多个数据块(chunks),从而控制每次传输到mysql服务器的数据量大小。 pt-fifo-split 可以模拟切割文件,并通过管道传递给先入先出队列而不用真正的切割文件。pt-fifo-split 是 percona-toolkit 套件的一部分。 pt-fifo-split 命令用法: pt-fifo-split [options] [FILE ...] 例如:使用pt-fifo-split分割一个大文件,每次读1000000行: pt-fifo-split --lines 1000000 hugefile.txt while [ -e /tmp/pt-fifo-split 注意此工具只能工作在类unix操作系统。

    1K20发布于 2019-09-17
领券