上图2张图,可以看到延迟较大,从库上的alter操作一直在等待metadata lock,处于阻塞状态。
超市的收银台就是一个队列: [007S8ZIlly1ge7jl0dafej30ge03yq2x.jpg] 我们常用的 LinkedList 就可以当队列使用,实现了 Dequeue 接口,还有 ConcurrentLinkedQueue 阻塞队列 阻塞队列,顾名思义,首先它是一个队列,而一个阻塞队列在数据结构中所起的作用大致如下 [007S8ZIlly1ge7f11uoroj32bs0tidj8.jpg] 线程 1 往阻塞队列中添加元素 BlockingQueue 是个接口,需要使用它的实现之一来使用 BlockingQueue,java.util.concurrent 包下具有以下 BlockingQueue 接口的实现类: JDK 提供了 7 消费线程会退出,返回 null [format.png] BlockingQueue 实现类 逐个分析下这 7 个阻塞队列,常用的几个顺便探究下源码。 参考与感谢 https://www.liaoxuefeng.com/ SynchronousQueue源码 https://juejin.im/post/5ae754c7f265da0ba76f8534
数据库的监控点中,阻塞情况是一个重要指标,Innodb 是主流存储引擎,下面实验一下如何监控器阻塞状态 模拟阻塞状态 使用两个MySQL客户端连接同一个MySQL服务器,并查询出各自的连接ID client1 的 ID为 5 client2 的 ID为 6 先把阻塞过期时间设得大一点,便于测试 mysql> set global innodb_lock_wait_timeout=200; 在 client1 中执行语句 mysql> begin; mysql> select film_id from film for update; 可以正常返回数据 在 client2 中执行语句 mysql> begin ; mysql> select title from film for update; 没有返回结果,处于等待状态,因为被阻塞了,完成了模拟 查询阻塞 执行下面的语句来查询阻塞 select b.trx_mysql_thread_id as '被阻塞线程' ,b.trx_query as '被阻塞SQL' ,c.trx_mysql_thread_id as '阻塞线程' ,c.trx_query as '阻塞SQL' ,(UNIX_TIMESTAMP
出现的错误: ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction 解决办法: 查看sleep的进程 MySQL mysql> SELECT * FROM information_schema.INNODB_TRX\G; *************************** 1. row ************ trx_requested_lock_id: NULL trx_wait_started: NULL trx_weight: 4 trx_mysql_thread_id sec) ERROR: No query specified 看到有这条 32735 的sql,kill掉,执行kill 32735; kill 32735; 然后再去查询INNODB_TRX表,就没有阻塞的事务 sleep线程存在了,如下所示: mysql> SELECT * FROM information_schema.INNODB_TRX\G; Empty set (0.00 sec) 现在可以正常执行
在 MySQL 数据库的日常管理和优化中,进程管理是一项重要的任务。通过监控和适时地终止异常或低效的数据库连接和查询,可以显著提升系统的性能和稳定性。 下面介绍几种常见的 MySQL 进程管理场景及相应的处理策略。 每隔多久检查一次 --victims all #all kill该类中所有的查询;oldest 只kill最旧的单个查询;all-but-oldest 除了就得查询外,其他的都kill 总结 通过对 MySQL
某银行客户在从Oracle迁移到MySQL的开发中,MySQL在READ-COMMITTED隔离级别下,出现了insert阻塞update的情况,但同样的情况下,Oracle的insert则不会阻塞update > select * from t; +---+------+ | a | b | +---+------+ | 7 | 7 | +---+------+ 1 row in set (0.00 sec) 1.2 insert阻塞update的操作步骤 insert语句未提交时,update同样主键的数据会被阻塞。 (0.01 sec) 更改数据,条件是a=8,将会被阻塞mysql> update t set b=0 where a=8;<<挂起,等待innodb_lock_wait_timeout超时 2 CREATE TABLE t ( a int NOT NULL PRIMARY KEY , b int DEFAULT NULL ); insert into t values(7,7); commit
引言介绍阻塞队列之前,先来介绍下队列 Queue。Queue 用来临时保存一组等待处理的元素。它提供了几种非阻塞队列实现,如下:ConcurrentLinkedQueue,这是一个传统的先进先出队列。 阻塞队列 BlockingQueue 扩展了 Queue,增加了可阻塞的 put 和 take 方法,以及支持定时的 offer 和 poll 方法。 如果队列已经满了,那么 put 方法将阻塞直到有空间可用;如果队列为空,那么 take 方法将会阻塞直到有元素可用。 队列可以是有界的也可以是无界的,无界队列永远都不会充满,因此无界队列上的 put 方法也永远不会阻塞。阻塞队列支持 生产者--消费者 这种设计模式。 当线程阻塞时,它通常被挂起,并处于某种阻塞状态(BLOCKED、WAITING 或 TIME_WAITING)。
这是一套MySQL 5.7.16的环境,事务隔离级别为RR 等我连接到这套环境的时候,show processlist的输出已经恢复了正常,查看相关的数据库日志也没有任何额外的输出,查看慢日志发现了有一部分的慢日志 业务服务器会不断发起短连接请求,整个过程中是无状态的,发起的数据写入很可能是冗余的,为了在数据库中达到唯一性,设置了这个唯一性索引,而业务的持续不断的写入,因为唯一性索引会额外有检测数据库冲突的逻辑,所以相关的SQL都会阻塞
不同方式的阻塞在工作和学习总,使用Golang的实现业务逻辑的时候,往往需要使流程阻塞一段时间等待其他协程的执行;或者永久阻塞来监听一些连接信息等。下面提供了几种常见的阻塞方式,仅供参考。 因此,可以通过time.After来阻塞固定时长。 :", d) }() time.Sleep(chokeTime) mu.Unlock() time.Sleep(chokeTime)}7. gotogoto 是调整代码执行位置, 如果形成了一个循环的化,同样会阻塞程序。 : 1.000691546s使用Select阻塞了: 1.001008044s使用For阻塞了: 1.000650866s使用mutex阻塞了: 1.000067636s使用channel阻塞了: 1.00013111s
MySQL DDL操作执行的三种方式 1,INPLACE,在进行DDL操作时,不影响表的读&写,可以正常执行表上的DML操作,避免与COPY方法相关的磁盘I/O和CPU周期,从而最小化数据库的总体负载。 过程是通过创建一个新结构的临时表,将数据copy到临时表,完成后删除原表,重命名新表的方式,需要拷贝原始表, 3,INSTANT,从 MySQL 8.0.12 开始被引入并默认使用。 以下是MySQL 5.7版本中各种DDL操作的执行方式,总结一下: 1,如果DDL的执行方式是InPlace = YES ,那么改DDL的执行会支持并发DML,不会影响表的增删查改, 1.1,如果 Only Modifies Metadata一定为No,需要考虑Rebuilds Table对IO和CPU等资源的消耗 2,如果DDL的执行方式是InPlace = NO,那么改DDL的执行期间表只读,阻塞写
sin(x) 返回参数x的正玄值 asin(x) 返回参数x的反正玄 cos(x) 返回参数x的余弦值 acos tan(x) atan(x) cot(x) 返回参数x的余切值 例:mysql mysql> select weekday(now()); +----------------+ | weekday(now()) | +----------------+ | 3 | +------ 如果第二个参数是0,星期从星期天开始,如果第二个参数是1, 从星期一开始,如下所示: mysql> select week(now(),0); +---------------+ | week(now( ),0) | +---------------+ | 19 | +---------------+ 1 row in set (0.00 sec) mysql> select week(now(),1 > 提取表达式的年份 mysql> select year(now()); +-------------+ | year(now()) | +-------------+ | 2013 | +----
阻塞与非阻塞 应用进程请求I/O操作时,如果数据未准备好,如果请求立即返回就是非阻塞,不立即返回就是阻塞。简单说就是做一件事如果不能立即获得返回,需要等待,就是阻塞,否则就可以理解为非阻塞。 阻塞 阻塞调用是指调用结果返回之前,当前线程会被挂起。函数只有在得到结果之后才会返回。有人也许会把阻塞调用和同步调用等同起来,实际上它们是不同的。 socket接收数据的另外一个函数recv则是一个阻塞调用的例子。当socket工作在阻塞模式的时候, 如果没有数据的情况下调用该函数,则当前线程就会被挂起,直到有数据为止。 非阻塞 非阻塞和阻塞的概念相对应,指在不能立刻得到结果之前,该函数不会阻塞当前线程,而会立刻返回。 同步/异步与阻塞/非阻塞的组合 同步阻塞形式: 等待执行结果是一直等待,执行时线程挂起(未对fd 设置O_NONBLOCK 标志位的read/write 操作) 同步非阻塞形式:等待执行结果是一直等待,
什么是阻塞和非阻塞 阻塞和非阻塞是针对于进程在访问数据的时候,根据IO操作的就绪状态来采取的不同方式,阻塞方式下读取或者写入函数将一直等待,而非阻塞方式下,读取或者写入函数会立即返回一个状态值。 阻塞与非阻塞:针对函数(程序)运行的方式,在IO未就绪时,是等待就绪还是直接返回(执行别的操作)。 阻塞与非阻塞的区别: 阻塞是程序在调用系统函数IO时,在系统执行系统调用时由CPU通过轮询等方式来实现数据的IO。 非阻塞是在程序级别通过轮询/信号/事件的机制,去查看IO数据是否就绪。 可以是阻塞或非阻塞,阻塞则一直在等待内核/应用程序把IO数据准备好,非阻塞则是直接返回内核/应用程序是否已经准备好数据。 应用程序框架:同步或异步。 IO多路复用,同步,异步,阻塞和非阻塞 区别 关于异步,同步,阻塞与非阻塞 解读I/O多路复用技术
以调用函数为例, 同步指的是调用方主动查询返回结果,异步是等待被调用方通知查询结果 阻塞是等待返回结果的时间内挂起,非阻塞是等待返回结果的时间内可以干其他事情. 同步和阻塞完全不是一件事,是否同步指的是获取返回结果的方式,是否阻塞指的是等待获取结果的时间内是否可以干其他事情
曾经我分析过在MySQL数据库上字段扩位是否只是快速更新元数据的那次是因为是在实际工作中意外遇到的问题,所以做了实验得出在64以下改变没有问题。64以上的改变也没有问题。 事实证明我判断正确的实际效果模拟一个100M以上的表mysql> select count(*) from test_data;+----------+| count(*) |+----------+| 1000000 |+----------+1 row in set (0.74 sec)mysql> desc test_data;+-------+---------------+------+- mysql> mysql> alter table test_data modify m varchar(50);Query OK, 0 rows affected (0.02 sec)Records: 这些后续可以更好的判断DDL时候的阻塞情况
修改zabbix统计数据过期时间 [root@new-master mysql]# vim /var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh [root@new-master mysql]# grep 120 /var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh if [ `expr $TIMENOW - $TIMEFLM` -gt 120 ]; then [root@new-master mysql]# 修改之前是300,也就是5分钟,这个监控粒度太粗,所以改为 -4.013-3.el6.x86_64 has missing requires of libmysqlclient.so.16()(64bit) perl-DBD-MySQL-4.013-3.el6. x86_64 has missing requires of libmysqlclient.so.16(libmysqlclient_16)(64bit) php-mysql-5.3.3-40.el6_
这里讲的都是基于IO的 阻塞、非阻塞、同步、异步 ---- 一个典型的IO操作包括了两个阶段,数据准备和数据读写。比如说现在要使用 recv 执行一个读操作,数据就绪就是远端是否有数据可读。 当IO工作在阻塞状态下的时候,如果数据没有就绪,recv就会阻塞当前线程;如果说IO工作在非阻塞状态下,会立即返回。 一个同步IO接口的示例: char buf[1024]; int sz = recv(sockfd,buf,1024,0); //阻塞:一直在这儿死等 //非阻塞:时不时的回来问一下 if(sz>0) 仅被 lio_listio() 函数使用 */ /* Various implementation-internal fields not shown */ }; 陈硕大神说:在处理IO的时候,阻塞和非阻塞都是同步 ---- 五种IO模型 阻塞: 非阻塞: 多路IO复用 信号驱动: 这里就完全放飞自我了 异步: ---- Reactor反应堆模型 One loop per thread
修改zabbix统计数据过期时间 [root@new-master mysql]# vim /var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh [root@new-master mysql]# grep 120 /var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh if [ `expr $TIMENOW - $TIMEFLM` -gt 120 ]; then [root@new-master mysql]# 修改之前是300,也就是5分钟,这个监控粒度太粗,所以改为 -4.013-3.el6.x86_64 has missing requires of libmysqlclient.so.16()(64bit) perl-DBD-MySQL-4.013-3.el6. x86_64 has missing requires of libmysqlclient.so.16(libmysqlclient_16)(64bit) php-mysql-5.3.3-40.el6_
:”发送操作被阻塞了!!! 阻塞 阻塞调用是指调用结果返回之前,当前线程会被挂起。函数只有在得到结果之后才会返回。有人也许会把阻塞调用和同步调用等同起来,实际上它们是不同的。 非阻塞 非阻塞和阻塞的概念相对应,指在不能立刻得到结果之前,该函数不会阻塞当前线程,而会立刻返回。 对象的阻塞模式和阻塞函数调用 对象是否处于阻塞模式和函数是不是阻塞调用有很强的相关性,但是并不是一一对应的。 阻塞对象上可以有非阻塞的调用方式,我们可以通过一定的API去轮询状态,在适当的时候调用阻塞函数,就可以避免阻塞。而对于非阻塞对象,调用特殊的函数也可以进入阻塞调用。
我们可能都已经听过阻塞非阻塞的概念,本文以tcp中的connect系统调用为例子(基于1.12.13内核,新版的原理类似,但是过程就很复杂了,有时间再分析),分析阻塞和非阻塞是什么并且看他是如何实现的。 sock->state = SS_CONNECTED; // 返回成功 return(0); } 我们看到connect函数首先会调用tcp层的函数发送一个sync包,然后根据socket的属性(阻塞非阻塞 ,可以通过setsocketopt设置)做下一步处理,如果是非阻塞,那么就比较简单,直接返回给应用层。 这也是非阻塞+事件驱动架构中的做法。因为这种架构下通常是单进程的,要避免阻塞进程,那么返回后什么时候才能知道连接成功呢? 以上就是进程阻塞和非阻塞的原理。