时间轮 作用 也是用来作定时器触发任务,只是他更高效,时间复杂度为O(1)。 – 42200(6060*12)秒 时间与每层的索引关系 举个简单的4层时间轮例子(如左上图),假设最小计时单位为1(姑且理解为秒) 时间轮初始为0,那么给定任意时间time,求time落在每层时间轮的索引 从数据结构设计 时间轮是由多个定长数组组成的,我们只需要把事件接在数组中就可以了,由于同一时刻会有多个事件,考虑先添加的事件先执行,使用链表来把事件连接起来,因此时间轮是一个 定长的包含链表的数组 事件添加过程 数据结构: 1、定义任务节点,组成任务链,节点应该包含需要执行的任务和任务执行的时间(以时间轮为起始点的时间) 2、定长链表数组,组成多层轮子,链表的节点为1定义的节点 3、定义时间变量,记录时间轮从起始时刻到当前的时间 ,并且时间轮涉及到了很多乘法和除法和取余,所以可以考虑使用位运算来替代运行。
因为时间轮算法的精度取决于,时间段“指针”单元的最小粒度大小,比如时间轮的格子是一秒跳一次,那么调度精度小于一秒的任务就无法被时间轮所调度。 2.2.带圈数的时间轮 第一种最基础的时间轮中其实缺陷还是挺明显的。例如我设置一个间隔为1分钟,环形队列节点数为60个节点的时间轮。 2.3.多层时间轮 再回头看一下2.2。如果任务的跨度时间很长,那么时间轮将会空转,只有round为0才会进行任务的执行,这个无疑是很消耗cpu的。 三.应用 时间轮的使用在各大框架与中间件中有使用,xxl-job,netty,kafka都对时间轮都自己的实现。思路基本上与删除的时间轮策略一致。 四.参考 时间轮在 Kafka 的实践
一、什么是时间轮? 当然是可以的,假设我有一个任务E是在某点某分某秒执行,那么我们可以定义三个时间轮, 分别是秒时间轮,分时间轮,小时时间轮 秒时间轮:总共60个格子,每格1s 分时间轮:总共60个格子,每格1分钟 计算方式如下: //计算任务执行点相对于时间轮启动时间的差值 duration = 任务执行时间点 - 时间轮启动时间点startTime //计算从时间轮启动点到达执行点需要走多少格子 E计算出来的duration为24小时30分20秒,那么首先这个任务E会存放在时时间轮的第24个格子上,等时时间轮走到第24个格子 后,会将这个任务E降级存放到分时间轮的第30个格子上,等分时间轮也走到第 30个格子之后,又会把任务E存放到秒时间轮的第20个格子上,等秒时间轮走到第20个格子上之后 就会执行任务,我们管这种时间轮叫做层级时间轮。
如下图所示: 中间的圆轮代表一个时间周期,轮子上的每个节点关联的链表代表该时间点要触发的任务。 常用的有MpscArrayQueue和MpscChunkedArrayQueue,jdk的juc包下的相关并发实现也参考了Mpsc无锁队列. 2.多重时间轮 当时间跨度很大时,提升单层时间轮的 tickDuration 可以减少空转次数,但会导致时间精度变低,层级时间轮既可以避免精度降低,又避免了指针空转的次数。 如果有时间跨度较长的定时任务,则可以交给层级时间轮去调度。 : 原生时间轮是单机的,在分布式和多实例部署的场景中乏力 宕机重新恢复执行,原生时间轮的存储是Mpsc队列,毫无疑问是内存存储,如果出现宕机或者重启,数据是不可恢复的 对于类似订单超时取消的场景,可以考虑时间轮
timewheel Golang实现的时间轮 项目地址 原理 延迟消息的实现 安装 go get -u github.com/ouqiang/timewheel 使用 package main import ( "github.com/ouqiang/timewheel" "time" ) func main() { // 初始化时间轮 // 第一个参数为tick刻度, 即时间轮多久转动一次 // 第二个参数为时间轮槽slot数量 // 第三个参数为回调函数 tw := timewheel.New(1 * time.Second, 3600, func(data timewheel.TaskData) { // do something }) // 启动时间轮 tw.Start() // 添加定时器 timewheel.TaskData{ "uid" : 105626}) // 删除定时器, 参数为添加定时器传递的唯一标识 tw.RemoveTimer(conn) // 停止时间轮
书中提到三种定时器,分别是:基于升序链表的定时器,基于时间轮的定时器,基于时间堆的定时器。三种定时器的实现书中均是给了C++代码,不过我对C++不太感兴趣,虽然现在在做C++开发,因此写了C版本的。 说一下时间轮,下面是截的书中的图片 时间轮,像轮子一样滚动定时,每滚一个刻度,指针就走一个滴答,滚完一圈,就进入下一圈。 因此有了这个概念,时间轮的结构也就出来了:1.齿轮(槽slot),用来标识一个滴答;2.槽间隔(slot interval ),当前槽经过多长时间到下一个槽;3.一圈的槽数量(N);4.当前指针,走一个滴答加一 ,即时间轮转多少转 //此定时器可以处于当前转,若再加上槽 //即可确定此定时器所处时间轮位置 int rotation; //处于当前时间轮转的第几个槽 int slot; //定时器到时执行的回调函数 ,每经过一个间隔时间,加一实现轮转动, //超过总槽数即归零表示当前轮转完 int cur_slot; //时间轮一转的总槽数,总槽数越大槽链表越短,效率越高 int slot_num_r; //相邻时间槽间隔时间
时间轮算法 最近工作中使用了Xxl-Job框架来做分布式调度,内部采用了时间轮做整体调度,顺便学习并总结一下。 绝对时间和相对时间 定时任务一般有两种: 1. 约定一段时间后执行。 2. 最简单的办法就是增大时间轮的长度,可以从12个加到168 (一天24小时,一周就是168小时),那么下周一上午九点就是时间轮的第9个刻度,这周三上午九点就是时间轮的第57个刻度。 但是这样带来的问题时,每次移动刻度的耗时会增加,当时间刻度很小(秒级甚至毫秒级),任务列表有很长,这种方案是不能接受的。 分层时间轮 分层时间轮是这样一种思想: 1. 针对空间复杂度的问题:分层,每个时间粒度对应一个时间轮,多个时间轮之间进行级联协作。 假设现在有3个定时任务: 1. 任务一每天上午9点执行 2. 任务二每周2上午9点执行 3. 根据这三个任务的调度粒度,可以划分为3个时间轮,月轮、周轮和天轮,初始添加任务时,任务一被添加到天轮上,任务二被添加到周轮,任务三被添加到月轮上。
dubbo-common 包中,有个比较有趣的功能 —— HashedWheelTimer,也就是时间轮。 ---- 总结 Dubbo 时间轮,涉及到了大量的多线程开发代码,对学习如何运用多线程有很大的帮助。
时间轮是一种高性能定时器。 时间轮,顾名思义,就是一个基于时间的轮子,轮子划分为多个槽,每个槽代表一个时间跨度,槽的数量*时间跨度等于时间轮可以支持的最大延迟时间。 我们可以把时间轮分级,n+1层时间轮的槽时间跨度为n层时间轮的一圈的总时间跨度,所以当n层时间轮推进一圈时,n+1层时间轮推进一个槽,并且只有第一层时间轮实际处理定时任务,其余n+1层时间轮转动后,都是把当前槽的任务降级挂载到第 例如,我们如图有三级时间轮,一级时间轮每个槽1秒时间跨度,3600槽,即一圈总时间跨度1小时。二级时间轮每个槽1小时时间跨度,24个槽,即一圈总时间跨度1天。 但是也产生了另外一个问题,即n级时间轮推进一圈后,需要等待n+1级时间轮降级后才可以继续推进,如果n+1级时间轮的降级操作很耗时,则会影响n级时间轮的正常推进。 所以一般会采用预热的方式,提前触发n+1级时间轮的降级,解耦多级时间轮之间推进的强关联,保证一级时间轮推进的连续性。
时间轮算法思想 无论通过何种方式实现定时任务队列,最终需要向上层提供如下接口: 添加定时任务; 删除(取走)定时任务; 执行定时任务; 2.1 简单时间轮算法 时间轮算法的核心是:轮询线程不再负责遍历所有任务 如果要将时间精度设为秒,那么整个时间轮将需要 86400 个单位的时间刻度,此时时间轮算法的遍历线程将遇到更大的运行效率低的问题。下面两个小节将着力解决此问题。 2.2 带有 round 的时间轮算法 我们发现,时间轮的时间刻度随着时间精度而增加并不是一个好的问题解决思路。现在,我们将时间轮的精度设置为秒,时间刻度个数固定为 60。 此时时间轮算法的数据结构如下图所示: 这种方式虽然简化了时间轮的刻度个数,但是并没有简化轮询线程运行效率不高的问题。时间轮每次处理一个时间刻度,就需要处理其上任务队列的所有任务。 2.3 分层时间轮算法 分层的时间轮算法在生活中有对应的模型(艺术来源于生活~),那就是水表: 此时,我们有秒、分钟、小时级别的三个时间轮,每一个时间轮分别有 60、60、24 个刻度。
任务执行: 任务在其对应的时间槽到达时被执行。执行完毕后,任务可以选择从时间轮中删除,或者如果需要周期性执行,可以重新计算其下次执行的时间并再次添加到时间轮中。 时间轮的优点高效性:时间轮避免了使用最小堆或其他数据结构频繁地插入和删除操作,这些操作通常是对数时间复杂度。时间轮的插入和删除操作可以视为常数时间复杂度,因为它们只涉及到数组索引的操作。 简单:时间轮的结构简单,使得时间的前进和任务的调度非常直接,只涉及数组的索引操作和链表操作。层级时间轮对于处理更长时间范围或更高精度的需求,可以使用多层时间轮。 层级时间轮由多个时间轮组成,每个时间轮负责不同的时间粒度和范围。例如,第一层时间轮可能每个槽代表1毫秒,而第二层时间轮的每个槽可能代表1秒。这种结构可以有效地扩展时间轮处理的时间范围和精度。 对于时间轮的实现,我们可以利用第三方库,如netty中的HashedWheelTimer,它是一个用于处理超时事件的高性能时间轮实现。
时间轮 简述 顾名思义,时间轮就像一个轮子,在转动的时候外界会指向轮子不同的区域,该区域就可以被使用。 因此只要将不同时间的定时器按照一定的方法散列到时间轮的不同槽(即时间轮划分的区域)之中,就可以实现在运转到某个槽时,进行判断该定时器是否已经到达运行时间(需要判断是由于有的定时器并非在这一圈就需要运行, 至于在每转到一个槽时都要检查是否到达运行时间,可以这样理解:时间轮进行散列的方法就是取余运算,假设每个槽的间隔为1s,共有n个槽,当前转到了第cur个槽,那么一个定时在 t s以后运行的定时器就要放在第 对实现时间轮来说,最主要的还是链表的操作是否熟练,当然也主要是双向链表的添加与删除。 代码分析 记录定时器的时间信息,从而获取在时间轮中槽的位置,以及在多少圈之后被触发。 class TwTimer { public: int rotation; // 定时器转多少圈后生效 int time_slot; // 记录定时器属于时间轮的哪个时间槽 client_data
如下图所示: 中间的圆轮代表一个时间周期,轮子上的每个节点关联的链表代表该时间点要触发的任务。 Q:为什么在添加任务的时候启动时间轮? A:避免没有任务的情况下时间轮空转,造成cpu损耗 Q:为什么没有把任务添加到时间格里,而是放入了队列? 常用的有MpscArrayQueue和MpscChunkedArrayQueue,jdk的juc包下的相关并发实现也参考了Mpsc无锁队列. 2.多重时间轮 当时间跨度很大时,提升单层时间轮的 如果有时间跨度较长的定时任务,则可以交给层级时间轮去调度。 : 原生时间轮是单机的,在分布式和多实例部署的场景中乏力 宕机重新恢复执行,原生时间轮的存储是Mpsc队列,毫无疑问是内存存储,如果出现宕机或者重启,数据是不可恢复的 对于类似订单超时取消的场景,可以考虑时间轮
时间轮是一种可以执行定时任务的数据结构和算法.这篇文章,讲解一下它在Netty 3.x系列中如何实现的,它在4.x系列将在后面的文章中讲解. 首先说明一点的是,时间轮是按照顺时针的方向'转动',也就是按照顺时针的方向执行时间轮上的任务. 时间轮在开始'转动'的时候会记录下开始时间startTime.每个格子表示一个tick值,第一个格子的tick值等于1,第二个格子的tick值等于2,以此类推. * n 时间轮初始化之后,它的结构如下图 假如此时时间轮正在执行下图中S格子中的任务,这时向时间轮中添加一个延时delay的任务,时间轮会根据当前所处的位置和时刻,计算新添加的任务应该放在哪个格子位置 任务在提交到时间轮的时候,它何时被执行,已经被确定了.
这是空间是的槽机制, 在时间维度,可以把时间分片,每隔一段时间,就是一个时间槽位。 思路 这样的话,就要记录计算所有时间: 标记当前开始时间 记录业务逻辑处理的时间 计算出下一次间隔时间 每一轮开始,就会有一个开始时间为起点,执行的时间就是使用时间,将这个时间录下来,并使用开始时间减去使用时间 还需要一个标杆来确认每轮时间间隔。 提取需要几个参数: INTERVAL 时间间隔 current 当前时间 useTime 使用的时间 stillTime 剩余时间 INTERVAL 即是时间间隔,在逻辑上也是一个Slot。 我们要做的其实就是针对这个进行操作,计算这个时间槽内的时间流逝。
关于时间轮的实现原理详细介绍可以参考文章: https://blog.csdn.net/u013256816/article/details/80697456。是介绍kafka时间轮的实现。 vpp 中实现细节时间轮也是一样的。这里不再讲解了。 tw_timer_template.h的实例化生成命名结构来实现特定的计时器时间轮。 以tw_timer_2t_1w_2048sl.h模版为例子,时间轮的数量是1,时间轮的ring槽数量是2048,每个对象的句柄的占用的bit数量是2.通过make_internal_timer_handle 函数可以了解到用户时间轮句柄user_handle是由2部分组成的。 1、时间轮初始化 初始化一个间隔1s的的时间轮。每秒时间轮转一个槽位,最多支持2048s。timer interval也可以设置成0.1s,那么每秒ticks就是10。
将任务添加到时间轮中十分简单,对于每个时间轮来说,比如说秒级时间轮,和分级时间轮,都有它自己的过期槽。也就是delayMs < tickMs的时候。 比如说有一个任务要在 16:41:25 执行,从分级时间轮中来看,当我们的当前时间走到 16:41的时候(分级时间轮没有秒针! 当然我们的时间轮还需要一个指针的推进机制,总不能让时间永远停留在当前吧?推进的时候,同时类似递归,去推进一下上一层的时间轮。 1秒的会被扔到秒级时间轮的下一个执行槽中,而59秒的会被扔到秒级时间轮的后59个时间槽中。 细心的同学会发现,我们的添加任务方法,返回的是一个bool ? 再倒回去好好看看,添加到最底层时间轮失败的(我们只能直接操作最底层的时间轮,不能直接操作上层的时间轮),是不是会直接返回flase?对于再入失败的任务,我们直接执行即可。 ?
可以通过指定每一格的时间间隔来改变执行时间的精确度。在大多数网络应用中,I/O超时不需要十分准确,因此,默认的时间间隔是100 毫秒,这个值适用于大多数场合。 参数解释 首先创建时间轮,因为项目中只能出现一个实例所以直接用final修饰;public final HashedWheelTimer timer_wheel = new HashedWheelTimer (1L, TimeUnit.SECONDS, 60); 参数解释:/**long tickDuration:滴答时间,刻度之间的持续时间; TimeUnit unit: 滴答时间单位 int (), tickDuration, unit, ticksPerWheel);}理解起来就像钟表,tickDuration 1s滴答一下,ticksPerWheel 刻度盘为60 ;连起来就是创建一个时间论 ,一秒滴答一次,刻度盘为60,也就是60S 后重新开始/**TimerTask task:延时执行的任务,需要实现接口TimerTasklong delay:延时时间的时间TimeUnit unit:延时的单位
时间轮由多个时间格组成,每个时间格代表当前时间轮的基本时间跨度(tickMs)。 Kafka为此引入了层级时间轮的概念,当任务的到期时间超过了当前时间轮所表示的时间范围时,就会尝试添加到上层时间轮中。 对于之前所说的350ms的定时任务,显然第一层时间轮不能满足条件,所以就升级到第二层时间轮中,最终被插入到第二层时间轮中时间格17所对应的TimerTaskList中。 这里就有一个时间轮降级的操作,会将这个剩余时间为50ms的定时任务重新提交到层级时间轮中,此时第一层时间轮的总体时间跨度不够,而第二层足够,所以该任务被放到第二层时间轮到期时间为[40ms,60ms)的时间格中 除了第一层时间轮,其余高层时间轮的起始时间(startMs)都设置为创建此层时间轮时前面第一轮的currentTime。
时间轮java实现 一、java调度方法: 前言 在开发高性能服务器中,定时器总是不可或缺的。 常见的定时器实现三种,分别是:排序链表,最小堆,时间轮。 Timer,ScheduledExecutorService 时间复杂度 O(log(n)) 因为它们使用的 是 最小堆的对排序,每当有新任务的时候都需要堆堆进行插入, 堆排序插入的时间复杂度为 O(log 1) O(1) 基于最小堆 O(lgn) O(1) O(1) 二、时间轮调度算法: 比java调度算法更高效的算法,时间复杂度为O(1) 1、如果执行任务抛出异常,会执行后面的任务的 2、1s执行任务一 ,2s执行任务二 3、1s执行多个任务 算法对比 实现方式 加入任务 取消任务 运行任务 基于排序链表 O(n) O(1) O(1) 基于最小堆 O(lgn) O(1) O(1) 基于时间轮 O(1 ) O(1) O(1) 简单时间轮算法原理: 项目下载地址: https://download.csdn.net/download/a1229451567/10970874 版权声明:本文内容由互联网用户自发贡献