那么问题来了,redis速度快的flag是直接写官网的公屏上,那我们不妨来推演一下,redis变慢的原因,知其然而知其所以然。 redis为何会变慢 随着时间的堆积,数据的累增,系统很直观的会感觉的变慢的现象,对于大型程序来说,主要是内存碎片啊、堆栈溢出啊等等这些关于垃圾回收机制导致的,另外的还是跟其他组件在配合中,网络开销导致的现象 找到你认为可能变慢的 Redis 实例,测试这个实例的基准性能 如果你观察到,这个实例的运行延迟是正常 Redis 基准性能的 2 倍以上,即可认为这个 Redis 实例确实变慢了 发现问题 业务服务器到 Redis 服务器之间的网络存在问题,例如网络线路质量不佳,网络数据包在传输时存在延迟、丢包等情况 Redis 本身存在问题,需要进一步排查是什么原因导致 Redis 变慢 分析问题 分析问题的三把斧 = yes),在执行 DEL 命令时,释放内存也会放到后台线程中执行 集中过期,redis雪崩的现象 变慢的时间点很有规律,例如某个整点,或者每间隔多久就会发生一波延迟 参考资料 https://redis.io
比如在客户端做聚合运算 使用渐进式遍历代替全量查询命令,scan/sscan/zscan/hscan Bigkey bigkey的操作导致阻塞 分析 slowlog出现一些key的set/delete操作变慢 (bigkey 分配/释放内存缓慢) redis-cli --bigkeys扫描出很多bigkey 解决 优化业务,避免bigkey Redis 4.0+可开启lazy-free机制 大量key集中过期 Redis info中的expired_keys指标短期突增 业务使用EXPIREAT/PEXPIREAT命令 解决 优化业务,key的过期时间加上随机值进行打散,减小redis释放过期键的压力 内存达到 监控latest_fork_usec耗时是否变长 AOF使用awalys机制 awalys 会造成主线程堵塞 解决: everysecond机制 数据丢失不敏感则关闭aof 使用了swap 所有请求都变慢 不合理 Redis进程只绑定一个CPU逻辑核 NUMA架构下,网络中断处理程序和Redis进程没有绑定在同一个Socket下 解决: Redis进程绑定多个CPU逻辑核,比如2个逻辑核在1个物理核下 网络中断处理程序和
) 32692 2) (integer) 1593763337 3) (integer) 5044 4) 1) "GET" 2) "book_price_1000" ... 当实例的内存达到了maxmemory后,你会发现之后的每次写入新的数据,有可能变慢了。 导致变慢的原因是,当Redis内存达到maxmemory后,每次写入新的数据之前,必须先踢出一部分数据,让内存维持在maxmemory之下。 网卡负载过高 如果以上产生性能问题的场景,你都规避掉了,而且Redis也稳定运行了很长时间,但在某个时间点之后开始,访问Redis开始变慢了,而且一直持续到现在,这种情况是什么原因导致的? 之前我们就遇到这种问题,特点就是从某个时间点之后就开始变慢,并且一直持续。这时你需要检查一下机器的网卡流量,是否存在网卡流量被跑满的情况。
) 32692 2) (integer) 1593763337 3) (integer) 5044 4) 1) "GET" 2) "book_price_1000" ... 当实例的内存达到了maxmemory后,你会发现之后的每次写入新的数据,有可能变慢了。 导致变慢的原因是,当Redis内存达到maxmemory后,每次写入新的数据之前,必须先踢出一部分数据,让内存维持在maxmemory之下。 网卡负载过高 如果以上产生性能问题的场景,你都规避掉了,而且Redis也稳定运行了很长时间,但在某个时间点之后开始,访问Redis开始变慢了,而且一直持续到现在,这种情况是什么原因导致的? 之前我们就遇到这种问题,特点就是从某个时间点之后就开始变慢,并且一直持续。这时你需要检查一下机器的网卡流量,是否存在网卡流量被跑满的情况。
) 32692 2) (integer) 1593763337 3) (integer) 5044 4) 1) "GET" 2) "book_price_1000" ... 当实例的内存达到了maxmemory后,你会发现之后的每次写入新的数据,有可能变慢了。 导致变慢的原因是,当Redis内存达到maxmemory后,每次写入新的数据之前,必须先踢出一部分数据,让内存维持在maxmemory之下。 网卡负载过高 如果以上产生性能问题的场景,你都规避掉了,而且Redis也稳定运行了很长时间,但在某个时间点之后开始,访问Redis开始变慢了,而且一直持续到现在,这种情况是什么原因导致的? 之前我们就遇到这种问题,特点就是从某个时间点之后就开始变慢,并且一直持续。这时你需要检查一下机器的网卡流量,是否存在网卡流量被跑满的情况。
图片一、Redis访问架构链路分析首先,在深入分析Redis服务前,需要弄清楚是不是真的Redis访问变慢了。 对于第一点从应用到Redis这条链路变慢的原因可能有如下两个:应用到Redis服务之间的链路出现问题了,比如Redis所在服务器网络负载过高丢包、交换机问题、Proxy变慢等;Redis本身确实因为一些原因变慢了 服务器配置比较低时延迟为 10ms 时,才认为 Redis响应变慢了,但是如果配置比较高,那么可能延迟是 1ms 时就可以认为 Redis 变慢了。 Redis 是否真的变慢了:在相同配置的服务器上,测试一个正常 Redis 实例的基准性能找到可能变慢的 Redis 实例,测试这个实例的基准性能对比这个实例的运行延迟与正常 Redis 基准性能,如果性能差距在两倍以上 ,就可以认为这个 Redis 服务确实响应变慢了如果确认是 Redis服务变慢了,那如何排查是哪里发生了问题呢?
00、Redis变慢了,到底慢在哪儿? 昨天的内容中,我们说了Redis变慢有可能存在的2个方面原因: 1、Redis内部的阻塞式操作或者命令 2、CPU核心以及NUMA架构 对于第一部分,主要是Redis自身的实现原理导致的,我们暂时不去做过多讨论 第二部分是在多核心CPU场景下,多核心之间的频繁上下文调度会导致Redis变慢,今天我们更近一步的分析一下多核心CPU场景以及NUMA架构下的Redis运行机制。 1、当前服务器有2个CPU处理器,Sockets=2 2、每个socket上有6个物理核心,Cores per socket=6 3、每个物理核心有2个逻辑线程,Threads per core=2 4、 资源竞争,当后台子进程或者后台线程占用了CPU的资源时候,Redis的主线程响应就会被阻塞,从而变慢。
当 Redis 出现性能波动的时候,比如达到几秒到十几秒,这个很明显我们可以认定 Redis 性能变慢了。 有的硬件配置比较高,当延迟 0.6ms,我们可能就认定变慢了。 ❝那我们该如何定义 Redis 真的变慢了呢? 所以,我们需要对当前环境的 Redis 基线性能做测量,也就是在一个系统在低压力、无干扰情况下的基本性能。 当你发现 Redis 运行时时的延迟是基线性能的 2 倍以上,就可以判定 Redis 性能变慢了。 敲重点了 如果 Swap 一切都是 0 kb,或者零星的 4k ,那么一切正常。 当出现百 MB,甚至 GB 级别的 swap 大小时,就表明,此时,Redis 实例的内存压力很大,很有可能会变慢。 总结 如下检查清单,帮助你在遇到 Redis 性能变慢的时候能高效解决问题。
00、Redis变慢了,到底慢在哪儿? 最近由于工作需要,在维护线上的Redis,Redis相关的原理部分看的比较多,Redis最常见的业务问题就是响应慢,今天我们来看看Redis慢在哪里? 首先来看有可能引起Redis变慢的那些情况。其实,Redis变慢的主要因素是各种类型的阻塞,可以这么说:阻塞是Redis的噩梦。 总体上来说,Redis的阻塞存在很多可能,今天重点说以下2个方面: 1、Redis内部的阻塞式操作或者命令 2、CPU核心以及NUMA架构 01、Redis内部的阻塞式操作或命令 假设你的Redis 从节点上有2个阻塞点,第一是从节点需要使用flushdb清空数据库,如果从节点之前有数据,这可能造成阻塞;另外一个就是从节点需要加载主节点发送过来的RDB文件,如果RDB文件很大,则会加载很慢,产生阻塞 4、 如图为4核心CPU的架构,其中,CPU核心1、2在同一个Socket中,CPU核心3、4在另外一个Socket中。Socket之间,通过CPU总线来连接,每个Socket控制一块内存。
微信公众号:DBA随笔 01、如何判断Redis变慢了? 线上的Redis服务经经常有业务反馈响应慢的问题,针对这类问题,最好的分析方法是确定一个Redis的基准性能,然后去分析究竟什么原因导致的Redis变慢。 详情请参考: Redis变慢了,到底慢在哪儿?(2) 今天我们来看其他方面的性能优化。 AOF刷盘层面 除了命令级别的Redis变慢之外,还有其他层面的Redis变慢问题,我们来看AOF刷盘时候可能导致Redis变慢的一个瓶颈点。 Linux内存大页层面 常规的内存页分配是4kb为单位,而Linux支持内存大页的分配方式,这种机制支持每次分配2MB的内存,有的同学可能会认为2MB的分配方式不是更好?能够避免频繁的分配内存操作。
大家都是知道Redis纯内存数据库,处理速度很快,CPU架构,也会影响到 Redis 的性能 本文主要解决的一个问题在 Redis 为什么变慢,如何解决的? 大家都说它快,什么情况变慢 Redis 作为优秀的内存数据库,其拥有非常高的性能,单个实例的 OPS 能够达到 10W 左右 Redis 事件循环基于 epoll/kqueue, 具有相当强的可扩展性。 Redis 已在超过 60,000 个连接的情况下进行了基准测试, 并且仍然能够维持 50,000 q/s 的吞吐量。 怎么会变慢呢? 一、确定Redis是否真的变慢了 1. 运行时延迟是其基线性能的 2 倍及以上,就可以认定 Redis 变慢了 2. /redis/6.0/redis.conf # Redis Server and I/O threads are bound to CPU cores 0,2,4,6. # 主线程:轮训方式 分配客户端请求到不同
32692 2) (integer) 1593763337 3) (integer) 5044 4) 1) "GET" 2) "book_price_1000"... 当实例的内存达到了maxmemory后,你会发现之后的每次写入新的数据,有可能变慢了。 导致变慢的原因是,当Redis内存达到maxmemory后,每次写入新的数据之前,必须先踢出一部分数据,让内存维持在maxmemory之下。 网卡负载过高 如果以上产生性能问题的场景,你都规避掉了,而且Redis也稳定运行了很长时间,但在某个时间点之后开始,访问Redis开始变慢了,而且一直持续到现在,这种情况是什么原因导致的? 之前我们就遇到这种问题,特点就是从某个时间点之后就开始变慢,并且一直持续。这时你需要检查一下机器的网卡流量,是否存在网卡流量被跑满的情况。
前言Redis变慢排查的上一篇,我们是基于Redis命令为入口,比如命令使用不得当,bigkey问题,以及集中过期问题来看现象和如何进行优化处理的,认真读过的同学想必大家对这些现象和处理方式有了比较深的印象 方案没有最完美的,everysec同步机制同样存在导致Redis延迟变慢的情况。AOF耗时的刷盘操作不是已经创建了一个后台线程去处理吗,怎么还会影响Redis主进程呢? fsync 完成后,主线程执行 write 才能成功返回也就是说压力到了磁盘IO这边,因此磁盘IO压力过大,同样可能导致Redis主进程阻塞,主进程阻塞了,自然处理用户命令变慢了排查方式:1:info append fsync会被阻塞4:而fsync阻塞,会导致Redis主进程也会阻塞总结起来就是说,AOF重写机制和AOF持久化刷盘一起发生了,冲突了! ,这里也不做深入说明,我也没具体深入了解过了总结到这里,关于影响Redis性能的因素下篇就分享完了相信如果能耐心地看到这里的同学,想必你肯定已经对 Redis 的变慢该如何处理有了很大的收获,同样对Redis
今天就可能引起Redis变慢的原因一一分析,上篇看完后你将会形成一个比较完整的排查思路方案!Redis真的变慢了吗? 因此需要确定是不是访问Redis服务变慢进而拖慢了整个服务的响应变慢,那就是先自查! 那该以什么标准来认定Redis变慢呢? 变慢了,当然我测试的机器性能比较差,你们可以用自己的机器试试注意:这个命令只在Redis所在的服务器上运行,避免网络对基线性能的影响,只考虑服务端软硬件环境的影响到这里已经确定了是Redis服务变慢,那么是哪里变慢了呢 ok,关于Redis变慢问题的上半部分就分享到这里了,下期讲继续更新其他可能导致Redis变慢的情况,朋友,点个关注不迷路!参考:Redis变慢?
存储(实现)原理 Redis用intset或hashtable存储set。如果元素都是整数类型,就用inset存储。如果不是整数类型,就用hashtable(数组+链表的存来储结构)。 redis.conf set-max-intset-entries 512 127.0.0.1:6379> sadd lset 1 2 3 3 4 5 6 7 (integer) 7 127.0.0.1
在Redis中 可以对列表两端插入push 或者弹出pop,或者获取指定访问的元素列表,获取指定索引的下标的元素。 6379> linsert listkey after e n (integer) 8 127.0.0.1:6379> lrange listkey 0 -1 1) "e" 2) "n" 3) "d" 4) 会一直阻塞 127.0.0.1:6379> blpop emptylist 2 (nil) (2.08s) 127.0.0.1:6379> blpop emptylist 0 这个时候我们开启另外一个redis-cli ziplist 压缩列表:当列表类型元素个数小于list-max-ziplist-entries配置(默认512个),同时所有值都小于list-max-ziplist-value配置(默认64个字节)redis linkedlist链表当list类型无法满足ziplist的条件是,redis会使用linkedlist作为列表的内部实现。
命令master 上没有 rdb 文件[root@m1 ~]# lsanaconda-ks.cfg Downloads log Public redis.conf redis_slave_on_m1.conf VideosDesktop install.log Music redis-3.0.0 redis.log TemplatesDocuments install.log.syslog Pictures redis-3.0.0.tar.gz redis-new.conf tmp[root@m1 ~]# redis-cli 127.0.0.1:6379> keys * 1) "b"2) "a"3) "c"4) "8"5) "9"6) "d"127.0.0.1:6379
十条数据,算出各自的哈希值,(这里就不变了,实际上要经过一系列计算) 0 : 0 1 : 1 2 : 2 3 : 3 4 : 4 5 : 5 6 : 6 7 : 7 8 : 8 9 : 9 有三个节点, 算出各自的哈希值 node a: 3 node b: 5 node c: 7 这个时候比较两者的哈希值,5等于b,则归属b,4小于b,归属b,3等于a,则归属a,最后所有大于c的,归属于c(这里只是模拟 ) 相当于整个哈希值就是一个环,对应的映射结果: node a: 0,1,2,3 node b: 4,5 node c: 6,7,8,9 这个时候加入node d, 就可以算出node d的哈希值: node d: 9 这个时候对应的数据就会做迁移: node a: 0,1,2,3 node b: 4,5 node c: 6,7 node d: 8,9 只有最后8,9这2条数据被存储到新的节点,其他不变
/src/{redis-benchmark,redis-check-aof,redis-check-rdb,redis-cli,redis-sentinel,redis-server} /usr/local 0 1608532872000 4 connected 60bee426b74f78863ebde556ccdf3be318076e2a 192.168.1.31:6380@16380 slave 61a3730c0bc4f8dd0adc6cb8361468b111ae107f 0 1608532290000 4 connected 61a3730c0bc4f8dd0adc6cb8361468b111ae107f 192.168.1.33:6379@16379 master 0 1608533632330 4 connected 61a3730c0bc4f8dd0adc6cb8361468b111ae107f 192.168.1.33:6379@16379 master failove 1887:M 21 Dec 2020 16:57:07.822 # Setting secondary replication ID to fb19496140888dd50683a812b6f4dc4c6475a003
https://www.jianshu.com/p/0232236688c1 1、集群架构 Redis集群设计 总体架构 在这个图中,每一个蓝色的圈都代表着一个redis的服务器节点。 2、集群通信---- 2.1 集群发现:MEET 最开始时,每个Redis实例自己是一个集群,我们通过cluster meet让各个结点互相“握手”。 3、数据分布及槽信息 3.1槽(slot)概念 Redis Cluster中有一个16384长度的槽的概念,他们的编号为0、1、2、3……16382、16383。 ,这是可以由用户指定的,也可以在初始化的时候自动生成(redis-trib.rb脚本)。 3.2数据分片 在Redis Cluster中,拥有16384个slot,这个数是固定的,存储在Redis Cluster中的所有的键都会被映射到这些slot中。