2017年4月1日星期六 在某个业务的主库加完2个字段后,业务方反馈在30分钟后从库也一直无法查看到这个新字段。 在slave上执行show slave status\G 如下图 ? 上图2张图,可以看到延迟较大,从库上的alter操作一直在等待metadata lock,处于阻塞状态。
数据库的监控点中,阻塞情况是一个重要指标,Innodb 是主流存储引擎,下面实验一下如何监控器阻塞状态 模拟阻塞状态 使用两个MySQL客户端连接同一个MySQL服务器,并查询出各自的连接ID client1 的 ID为 5 client2 的 ID为 6 先把阻塞过期时间设得大一点,便于测试 mysql> set global innodb_lock_wait_timeout=200; 在 client1 中执行语句 mysql> begin; mysql> select film_id from film for update; 可以正常返回数据 在 client2 中执行语句 mysql> begin ; mysql> select title from film for update; 没有返回结果,处于等待状态,因为被阻塞了,完成了模拟 查询阻塞 执行下面的语句来查询阻塞 select b.trx_mysql_thread_id as '被阻塞线程' ,b.trx_query as '被阻塞SQL' ,c.trx_mysql_thread_id as '阻塞线程' ,c.trx_query as '阻塞SQL' ,(UNIX_TIMESTAMP
出现的错误: ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction 解决办法: 查看sleep的进程 MySQL 127.0.0.1:2108 | erp | Query | 18 | updating | UPDATE `erp_user` SET `pwd`='OyUHgt21gTP2/ mysql> SELECT * FROM information_schema.INNODB_TRX\G; *************************** 1. row ************ sec) ERROR: No query specified 看到有这条 32735 的sql,kill掉,执行kill 32735; kill 32735; 然后再去查询INNODB_TRX表,就没有阻塞的事务 sleep线程存在了,如下所示: mysql> SELECT * FROM information_schema.INNODB_TRX\G; Empty set (0.00 sec) 现在可以正常执行
在 MySQL 数据库的日常管理和优化中,进程管理是一项重要的任务。通过监控和适时地终止异常或低效的数据库连接和查询,可以显著提升系统的性能和稳定性。 下面介绍几种常见的 MySQL 进程管理场景及相应的处理策略。 third_name from el_ks_sop t1 left join el_third_auth_bind t2 on t1.third_key = t2.third_id WHERE t1.status = 1 and t2.use_status = 1 order by sf_id limit 每隔多久检查一次 --victims all #all kill该类中所有的查询;oldest 只kill最旧的单个查询;all-but-oldest 除了就得查询外,其他的都kill 总结 通过对 MySQL
某银行客户在从Oracle迁移到MySQL的开发中,MySQL在READ-COMMITTED隔离级别下,出现了insert阻塞update的情况,但同样的情况下,Oracle的insert则不会阻塞update (0.01 sec) 更改数据,条件是a=8,将会被阻塞mysql> update t set b=0 where a=8;<<挂起,等待innodb_lock_wait_timeout超时 2 在READ-COMMITTED隔离级别下,session1执行insert语句时,在主键索引上获取了a=8的行记录独占锁,以禁止插入相同主键的数据;session2如果同时插入相同的主键数据被阻塞,容易理解 (Oracle也同样阻塞)。 出于同样的原因session2执行update时,由于无法获取a=8的行记录独占锁,同样也会被阻塞。
本篇是多路复用相关的知识的第二篇文章,主要讲解中断和进程阻塞在整个网络数据传递过程中,所经历的过程。 二、进程阻塞 阻塞是进程调度的关键一环,指的是进程在等待某事件(如接收到网络数据)发生之前的等待状态,recv、select和epoll都是阻塞方法。 对于阻塞来说,是不占用CPU资源的。 下面我们看下“进程阻塞为什么不占用cpu资源?” 操作系统为了支持多任务,实现了进程调度的功能,会把进程分为“运行”和“等待”等几种状态。 1.运行状态是进程获得cpu使用权,正在执行代码的状态; 2.等待状态是阻塞状态,比如上述程序运行到recv时, 程序会从运行状态变为等待状态,接收到数据后又变回运行状态。 所以进程A被阻塞,不会往下执行代码,也不会占用cpu资源。 ?
这是一套MySQL 5.7.16的环境,事务隔离级别为RR 等我连接到这套环境的时候,show processlist的输出已经恢复了正常,查看相关的数据库日志也没有任何额外的输出,查看慢日志发现了有一部分的慢日志 业务服务器会不断发起短连接请求,整个过程中是无状态的,发起的数据写入很可能是冗余的,为了在数据库中达到唯一性,设置了这个唯一性索引,而业务的持续不断的写入,因为唯一性索引会额外有检测数据库冲突的逻辑,所以相关的SQL都会阻塞 而和业务的沟通来看,他们后续会做一些修正: 1)将短连接模式修改为长连接模式 2)在业务层进行数据操作时,先进行数据探测,如果已经存在则不做后续的处理,否则写入 3)对于应用分布式架构中对于数据库唯一性校验和数据一致性方面进行更进一步的测试
IO多路复用 IO多路复用也是阻塞IO, 只是阻塞的方法是select/poll/epoll, 好处就是单个进程可以处理多个socket 用select,poll,epoll监听多个io对象,当io对象有变化 但select,poll,epoll本质上都是同步I/O,因为他们都需要在读写时间就绪后自己负责进行读写,也就是说这个读写过程是阻塞的 因为阻塞I/O只能阻塞一个I/O操作,而I/O复用模型能够阻塞多个
生产者和消费者彼此之间不直接通讯,而通过阻塞队列来进行通讯,所以生产者生产完数据之后不用等待消费者处理,直接扔给阻塞队列,消费者不找生产者要数据,而是直接从阻塞队列里取,阻塞队列就相当于一个缓冲区,平衡了生产者和消费者的处理能力 ,队列空了,也会阻塞,一直阻塞到没有其他线程生产了元素,才能继续出队列 阻塞队列也符合先进先出的规则 阻塞队列实现 //阻塞队列 public class ThreadDemo21 { static } size++; notify(); } } //2. } } }; t1.start(); //消费者:这里设置的消费的快 Thread t2 start(); t1.join(); t2.join(); } }
MySQL DDL操作执行的三种方式 1,INPLACE,在进行DDL操作时,不影响表的读&写,可以正常执行表上的DML操作,避免与COPY方法相关的磁盘I/O和CPU周期,从而最小化数据库的总体负载。 2,COPY,不允许并发执行过多个DDL,执行过程中表不允许写但可读。 过程是通过创建一个新结构的临时表,将数据copy到临时表,完成后删除原表,重命名新表的方式,需要拷贝原始表, 3,INSTANT,从 MySQL 8.0.12 开始被引入并默认使用。 以下是MySQL 5.7版本中各种DDL操作的执行方式,总结一下: 1,如果DDL的执行方式是InPlace = YES ,那么改DDL的执行会支持并发DML,不会影响表的增删查改, 1.1,如果 如果DDL的执行方式是InPlace = NO,那么改DDL的执行期间表只读,阻塞写(增删改),同时需要考虑对IO和CPU等资源的消耗 3,如果是INSTANT方式,类似于1.1 如下,对于执行期间不支持并发
阻塞与非阻塞 应用进程请求I/O操作时,如果数据未准备好,如果请求立即返回就是非阻塞,不立即返回就是阻塞。简单说就是做一件事如果不能立即获得返回,需要等待,就是阻塞,否则就可以理解为非阻塞。 阻塞 阻塞调用是指调用结果返回之前,当前线程会被挂起。函数只有在得到结果之后才会返回。有人也许会把阻塞调用和同步调用等同起来,实际上它们是不同的。 socket接收数据的另外一个函数recv则是一个阻塞调用的例子。当socket工作在阻塞模式的时候, 如果没有数据的情况下调用该函数,则当前线程就会被挂起,直到有数据为止。 非阻塞 非阻塞和阻塞的概念相对应,指在不能立刻得到结果之前,该函数不会阻塞当前线程,而会立刻返回。 同步/异步与阻塞/非阻塞的组合 同步阻塞形式: 等待执行结果是一直等待,执行时线程挂起(未对fd 设置O_NONBLOCK 标志位的read/write 操作) 同步非阻塞形式:等待执行结果是一直等待,
什么是阻塞和非阻塞 阻塞和非阻塞是针对于进程在访问数据的时候,根据IO操作的就绪状态来采取的不同方式,阻塞方式下读取或者写入函数将一直等待,而非阻塞方式下,读取或者写入函数会立即返回一个状态值。 阻塞与非阻塞:针对函数(程序)运行的方式,在IO未就绪时,是等待就绪还是直接返回(执行别的操作)。 阻塞与非阻塞的区别: 阻塞是程序在调用系统函数IO时,在系统执行系统调用时由CPU通过轮询等方式来实现数据的IO。 非阻塞是在程序级别通过轮询/信号/事件的机制,去查看IO数据是否就绪。 可以是阻塞或非阻塞,阻塞则一直在等待内核/应用程序把IO数据准备好,非阻塞则是直接返回内核/应用程序是否已经准备好数据。 应用程序框架:同步或异步。 IO多路复用,同步,异步,阻塞和非阻塞 区别 关于异步,同步,阻塞与非阻塞 解读I/O多路复用技术
以调用函数为例, 同步指的是调用方主动查询返回结果,异步是等待被调用方通知查询结果 阻塞是等待返回结果的时间内挂起,非阻塞是等待返回结果的时间内可以干其他事情. 同步和阻塞完全不是一件事,是否同步指的是获取返回结果的方式,是否阻塞指的是等待获取结果的时间内是否可以干其他事情
曾经我分析过在MySQL数据库上字段扩位是否只是快速更新元数据的那次是因为是在实际工作中意外遇到的问题,所以做了实验得出在64以下改变没有问题。64以上的改变也没有问题。 mysql> mysql> alter table test_data modify m varchar(50);Query OK, 0 rows affected (0.02 sec)Records: ----------------- M VARCHAR2( 30) N VARCHAR2(80) X 这些后续可以更好的判断DDL时候的阻塞情况
这里讲的都是基于IO的 阻塞、非阻塞、同步、异步 ---- 一个典型的IO操作包括了两个阶段,数据准备和数据读写。比如说现在要使用 recv 执行一个读操作,数据就绪就是远端是否有数据可读。 当IO工作在阻塞状态下的时候,如果数据没有就绪,recv就会阻塞当前线程;如果说IO工作在非阻塞状态下,会立即返回。 一个同步IO接口的示例: char buf[1024]; int sz = recv(sockfd,buf,1024,0); //阻塞:一直在这儿死等 //非阻塞:时不时的回来问一下 if(sz>0) 仅被 lio_listio() 函数使用 */ /* Various implementation-internal fields not shown */ }; 陈硕大神说:在处理IO的时候,阻塞和非阻塞都是同步 ---- 五种IO模型 阻塞: 非阻塞: 多路IO复用 信号驱动: 这里就完全放飞自我了 异步: ---- Reactor反应堆模型 One loop per thread
本文是精讲响应式WebClient第2篇,前篇的blog访问地址如下: 精讲响应式webclient第1篇-响应式非阻塞IO与基础用法 在上一篇文章为大家介绍了响应式IO模型和WebClient的基本用法 一、block()阻塞式获取响应结果 WebClient客户端既支持同步异步、阻塞与非阻塞IO,我们先来为大家介绍一下同步阻塞式的编程方式。 即:在请求发送之后使用block()方法,阻塞当前线程等待获取响应结果。 二、subscribe()非阻塞式获取响应结果 与block()阻塞式获取响应结果不同,使用subscribe()异步订阅响应结果,不会阻塞主线程继续向下执行。 写死的参数方式不灵活 .uri("/posts/1") //服务请求路径,基于baseurl 第一种占位符传参:数字顺序占位符 Mono<String> mono = webClient.uri("/{1}/{2}
Zuul 2与原始版本之间的主要架构差异是,Zuul 2在异步、非阻塞框架(Netty)上运行。 阻塞和非阻塞系统的区别 要理解为什么我们要构建Zuul 2,您必须首先理解异步和非阻塞(“异步”)系统与多线程、阻塞(“阻塞”)系统在理论上和实践中的架构差异。 构建非阻塞Zuul 在Netflix的基础架构中构建Zuul 2比预期的更具挑战。Netflix生态系统中的许多服务都是基于阻塞的假设建立起来的。 因此,构建Zuul 2的复杂性多在于梳理出使用线程局部变量的隐秘角落,其他的挑战则包括将阻塞网络逻辑转换成非阻塞网络代码,并在库中寻找阻塞代码,修复资源泄漏,以及将核心基础设施转换为异步运行。 开源项目Reactive-Audit通过插桩server的方式来帮助发现代码块和库被阻塞的情况。 我们采用了一种有趣的方法来构建Zuul 2。
:”发送操作被阻塞了!!! 阻塞 阻塞调用是指调用结果返回之前,当前线程会被挂起。函数只有在得到结果之后才会返回。有人也许会把阻塞调用和同步调用等同起来,实际上它们是不同的。 非阻塞 非阻塞和阻塞的概念相对应,指在不能立刻得到结果之前,该函数不会阻塞当前线程,而会立刻返回。 对象的阻塞模式和阻塞函数调用 对象是否处于阻塞模式和函数是不是阻塞调用有很强的相关性,但是并不是一一对应的。 阻塞对象上可以有非阻塞的调用方式,我们可以通过一定的API去轮询状态,在适当的时候调用阻塞函数,就可以避免阻塞。而对于非阻塞对象,调用特殊的函数也可以进入阻塞调用。
我们可能都已经听过阻塞非阻塞的概念,本文以tcp中的connect系统调用为例子(基于1.12.13内核,新版的原理类似,但是过程就很复杂了,有时间再分析),分析阻塞和非阻塞是什么并且看他是如何实现的。 sock->state = SS_CONNECTED; // 返回成功 return(0); } 我们看到connect函数首先会调用tcp层的函数发送一个sync包,然后根据socket的属性(阻塞非阻塞 这也是非阻塞+事件驱动架构中的做法。因为这种架构下通常是单进程的,要避免阻塞进程,那么返回后什么时候才能知道连接成功呢? 这就是进程阻塞的原理,主要是两个过程 1 加入等待队列 2 让出CPU,调度其他进程执行。 我们这个进程什么时候被唤醒呢?我们从收到sync的回包开始分析。具体逻辑在tcp_rcv中。 以上就是进程阻塞和非阻塞的原理。
阻塞 阻塞调用是指调用结果返回之前,当前线程会被挂起。函数只有在得到结果之后才会返回。有人也许会把阻塞调用和同步调用等同起来,实际上他是不同的。 非阻塞 非阻塞和阻塞的概念相对应,指在不能立刻得到结果之前,该函数不会阻塞当前线程,而会立刻返回。 对象的阻塞模式和阻塞函数调用 对象是否处于阻塞模式和函数是不是阻塞调用有很强的相关性,但是并不是一一对应的。 阻塞对象上可以有非阻塞的调用方式,我们可以通过一定的API去轮询状态,在适当的时候调用阻塞函数,就可以避免阻塞。而对于非阻塞对象,调用特殊的函数也可以进入阻塞调用。 阻塞/非阻塞则是小明的等待方式,或者说 API 调用者的等待方式。 在不同的场景下,同步/异步、阻塞/非阻塞的四种组合都有应用。